[論文レビュー] Fast Learning with Nonconvex L1-2 Regularization

Quanming Yao, James T. Kwok+1 more|arXiv (Cornell University)|Oct 29, 2016

Sparse and Compressive Sensing Techniques参考文献 22被引用数 3

ひとこと要約

本稿では、非凸な ℓ₁₋₂ 正則化子に対する閉形式の近位勾配解法を提案し、スパースかつ低ランク学習における高速で効率的な最適化を可能にする。解析的近位ステップを導出することで、圧縮センシング、行列補完、画像ノイズ除去の分野において、最先端のアルゴリズムを上回る収束速度と回復性能を達成する。

ABSTRACT

Convex regularizers are often used for sparse learning. They are easy to optimize, but can lead to inferior prediction performance. The difference of $\ell_1$ and $\ell_2$ ($\ell_{1-2}$) regularizer has been recently proposed as a nonconvex regularizer. It yields better recovery than both $\ell_0$ and $\ell_1$ regularizers on compressed sensing. However, how to efficiently optimize its learning problem is still challenging. The main difficulty is that both the $\ell_1$ and $\ell_2$ norms in $\ell_{1-2}$ are not differentiable, and existing optimization algorithms cannot be applied. In this paper, we show that a closed-form solution can be derived for the proximal step associated with this regularizer. We further extend the result for low-rank matrix learning and the total variation model. Experiments on both synthetic and real data sets show that the resultant accelerated proximal gradient algorithm is more efficient than other noncovex optimization algorithms.

研究の動機と目的

• ℓ₁ と ℓ₂ ノルムの差として定義される非凸な ℓ₁₋₂ 正則化子 ‖x‖₁ − ‖x‖₂ を効率的に最適化する課題に対処する。
• DCA や SCP のような既存手法の非効率性（高コストな部分問題の解法と遅い収束）を克服する。
• 収束保証が知られている近位勾配法を ℓ₁₋₂ 正則化に適用可能にするために、安価な閉形式近位ステップを導出する。
• 提案手法を低ランク行列学習および全変動モデルへと拡張し、機械学習および信号処理分野における広範な適用可能性を高める。

提案手法

• ℓ₁₋₂ 正則化子の近位作用素に対する閉形式解を導出。argminₓ ½‖x − z‖₂² + λ(‖x‖₁ − ‖x‖₂) を、しきい値処理およびソフトしきい値処理の原則を用いて解く。
• ℓ₁₋₂ の凸差（DC）構造を活用し、非凸かつ非滑らかでも収束が保証される近位勾配法を適用する。
• 閉形式近位ステップを活用し、行列補完における低ランク構造を用いて SVD の計算を高速化する専用アルゴリズム（nmAPG）を設計する。
• 核ノルムおよび全変動モデルへの近位ステップの適用により、低ランク行列学習へのフレームワークの拡張を実現し、効率性を維持する。
• 画像ノイズ除去のための交替最小化（AltMin）アルゴリズムを実装し、全変動と ℓ₁₋₂ 正則化を組み合わせる。
• 不正確なラインサーチやランク適応更新といった効率的な数値技術を用いて、正確性を保ちながらも速度を維持する。

実験結果

リサーチクエスチョン

• RQ1 非凸な ℓ₁₋₂ 正則化子（ℓ₁ と ℓ₂ ノルムの差）に対して、閉形式の近位ステップを導出可能か？
• RQ2 この閉形式近位ステップを用いることで、スパースおよび低ランク学習における近位勾配法の収束速度と性能が著しく向上するか？
• RQ3 実世界のデータセットを用いた実験において、DCA や FaNCL、AIS-Impute といった最先端ソルバーよりも、回復精度と実行時間の両面で優れているか？
• RQ4 行列補完および画像ノイズ除去タスクにおいて、ℓ₁₋₂ 正則化子が他の非凸正則化子（例：log-sum-penalty やキャップド ℓ₁）を上回る性能を示せるか？
• RQ5 特に低ランク構造や全変動構造と組み合わせた場合に、大規模問題に対してもスケーラブルかつ効果的か？

主な発見

• 行列補完において、すべてのテスト画像で最小の RMSE を達成し、核ノルム法および因子分解ベース手法を上回った。
• 画像ノイズ除去において、nmAPG は DCA よりも 20〜30 倍高速であり、再構成品質は同等であった。
• 行列補完において、nmAPG は AIS-Impute や SketchCG、ARSS-M3F、LMaFit、ER1MP よりも顕著に低い回復誤差を達成したが、多くの手法よりも高速であった。
• 閉形式近位ステップにより、繰り返し部分問題の解法を必要とせず、1イテレーションあたりのコストを低減し、収束を加速できた。
• 合成データおよび実世界データの両方において、ℓ₁₋₂ 正則化子は他の非凸正則化子を常に上回る回復精度を示した。
• 圧縮センシング、行列補完、画像ノイズ除去という多様なタスクにおいて、強力な性能を維持した。広範な適用可能性が示された。