[論文レビュー] Efficient Learning with a Family of Nonconvex Regularizers by Redistributing Nonconvexity

Quanming Yao, James T. Kwok|arXiv (Cornell University)|Jun 13, 2016

Sparse and Compressive Sensing Techniques参考文献 33被引用数 11

ひとこと要約

本論文は、正則化子の非凸性を損失関数へ移行させることで、非凸正則化子を効率的に最適化するための新規フレームワークを提案する。この手法により正則化子は凸形式に変換されつつ滑らかさが保持される。これにより、速やかに収束する既存の凸最適化アルゴリズム（例：プロキシマル、フランク＝ウォルフ、ADMM）が利用可能となり、行列補完や画像ノイズ除去といったベンチマークタスクにおいて、最先端の非凸ソルバーと比較して顕著に高速な収束が達成される。

ABSTRACT

The use of convex regularizers allows for easy optimization, though they often produce biased estimation and inferior prediction performance. Recently, nonconvex regularizers have attracted a lot of attention and outperformed convex ones. However, the resultant optimization problem is much harder. In this paper, for a large class of nonconvex regularizers, we propose to move the nonconvexity from the regularizer to the loss. The nonconvex regularizer is then transformed to a familiar convex regularizer, while the resultant loss function can still be guaranteed to be smooth. Learning with the convexified regularizer can be performed by existing efficient algorithms originally designed for convex regularizers (such as the proximal algorithm, Frank-Wolfe algorithm, alternating direction method of multipliers and stochastic gradient descent). Extensions are made when the convexified regularizer does not have closed-form proximal step, and when the loss function is nonconvex, nonsmooth. Extensive experiments on a variety of machine learning application scenarios show that optimizing the transformed problem is much faster than running the state-of-the-art on the original problem.

研究の動機と目的

• 非凸正則化学習における最適化の遅さという課題に対処する。特に、nmAPGのような既存のソルバーでは、コストの高いプロキシマルステップのため計算が高価になる。
• より良いスパarsityおよび低ランク推定が得られることが一般的な非凸正則化子の効率的最適化を可能にするために、正則化子に凸性を保ちつつ問題を再定式化する。
• 全体の目的関数の滑らかさを維持することで、プロキシマルアルゴリズム、フランク＝ウォルフ、ADMMなどの効率的な一階法の適用を可能にする。
• 凸化された正則化子に閉形式のプロキシマル演算子が存在しない場合、または損失関数が非凸かつ滑らかでない場合に対応するための拡張。
• 元の非凸定式化を最適化するのと比較して、変換された問題を解くことが顕著に高速であり、予測性能は維持または向上することを実証的に検証する。

提案手法

• 非凸正則化子 $ g(x) $ を凸部分 $ \hat{g}(x) $ と凹部分 $ \tilde{g}(x) $ に分解し、$ g(x) = \hat{g}(x) + \tilde{g}(x) $ とし、$ \tilde{g}(x) $ を損失関数 $ f(x) $ に統合することで、非凸性を再配分する。
• これにより、元の非凸問題 $ \min_x f(x) + g(x) $ は $ \min_x \tilde{f}(x) + \hat{g}(x) $ に変換され、ここで $ \tilde{f}(x) = f(x) + \tilde{g}(x) $ は滑らかで、$ \hat{g}(x) $ は凸となる。これにより、効率的な凸最適化アルゴリズムの適用が可能になる。
• 閉形式のプロキシマル演算子を持たない正則化子に対しては、反復的近似技術やスムージング（例：$ h_\lambda(x) $ を用いたLSP関数のスムージング）を用い、勾配ベース手法に適した形に変換する。
• 損失関数が非凸または滑らかでない場合には、スムージング技術（例：対数和ペナルティのスムージング）やDCプログラミング（CCCP）を適用し、非滑らかさに対処しつつ収束保証を維持する。
• 行列補完や画像ノイズ除去のタスクにおいて、変換された問題に対してプロキシマル勾配、フランク＝ウォルフ、ADMMなどのアルゴリズムを適用し、実証的に検証する。
• 滑らかさのレベル $ \lambda_i $ におけるウォームスタートをサポートし、$ \lambda_i = \lambda_0 \cdot \nu^i $ とすることで、逐次最適化における収束を加速する。

実験結果

リサーチクエスチョン

• RQ1 非凸正則化子を元の問題構造を保ちつつ凸形式に変換することで、効率的な最適化が可能になるか？
• RQ2 正則化子から損失関数へ非凸性を移行させることで、標準的な凸最適化アルゴリズムを用いた高速収束が達成できるか？
• RQ3 変換された問題の性能は、nmAPGのような最先端の非凸ソルバーと比較して、速度と精度の面で優れているか？
• RQ4 閉形式のプロキシマルステップが得られない場合でも、複雑な非凸正則化子（例：ファズドラソ、オーバーラップグループラソ）を扱えるか？
• RQ5 スムージングおよびDC分解が、非凸最適化における収束速度と解の品質に与える影響は何か？

主な発見

• 元の非凸問題を最適化するための最先端のnmAPGと比較して、変換された問題を凸ソルバー（例：プロキシマル、フランク＝ウォルフ、ADMM）で最適化する方が顕著に高速である。
• $ \ell_1 $ や核ノルムといった凸正則化子と同等またはそれ以上の予測性能を達成しつつ、それらに内在するバイアスを回避できる。
• 行列補完および画像ノイズ除去タスクにおいて、収束速度の面で既存の非凸ソルバーを上回る。nmAPGとの比較で顕著なスピードアップが報告されている。
• $ \lambda_0 = 0.1 $、$ \nu = 0.95 $ として、LSP正則化子を $ h_\lambda(x) $ を用いてスムージングし、逐次最適化を実施することで、勾配降下法を用いた安定かつ高速な収束が実現された。
• 理論的分析により、ランク-$ r $ 因子分解を用いた変換問題の臨界点が、元の問題の臨界点に対応することが確認され、解の品質が保証される。
• CCCPおよびスムージングを用いることで、非凸かつ滑らかでない損失関数に対しても一般化可能であり、収束特性を維持しながら効率的な最適化を可能にする。