[論文レビュー] A Second-Order Method for Strongly Convex L1-Regularization Problems

Kimon Fountoulakis, Jacek Gondzio|arXiv (Cornell University)|Jun 23, 2013

Sparse and Compressive Sensing Techniques参考文献 31被引用数 21

ひとこと要約

この論文は、強い凸性を持つℓ₁正則化問題を解くために、平滑化された擬似Huber近似を用いて二階微分可能にすることで、二階最適化を可能にする、原双対ニュートン共役勾配法（pdNCG）を提案する。この手法は、行列を直接扱わない共役勾配法を用いることで低メモリを維持しながら、グローバル収束性、局所的超線形収束速度、最悪ケースの反復複雑性を達成し、スパースな最小二乗問題および実世界の機械学習問題において、一階最適化手法を上回る性能を発揮する。

ABSTRACT

In this paper a robust second-order method is developed for the solution of strongly convex l1-regularized problems. The main aim is to make the proposed method as inexpensive as possible, while even difficult problems can be efficiently solved. The proposed approach is a primal-dual Newton Conjugate Gradients (pdNCG) method. Convergence properties of pdNCG are studied and worst-case iteration complexity is established. Numerical results are presented on synthetic sparse least-squares problems and real world machine learning problems.

研究の動機と目的

• 曲率情報の欠如により、悪条件なℓ₁正則化問題において一階最適化手法が非効率であるという問題を解決する。
• 高いメモリや計算コストを伴わずに高速収束を実現する二階最適化手法を開発する。
• 強い凸性とℓ₁正則化を備えた大規模スパース機械学習問題のロバストかつスケーラブルな解法を実現する。
• 行列を直接扱わないpdNCGアプローチの最悪ケース反復複雑性を保証する収束解析を提供する。
• 合成データおよび実世界のデータセットにおいて、FISTA や PCDM といった一階最適化手法に比べて、実用的優位性を示す。

提案手法

• 非微分可能なℓ₁ノルムを平滑化した擬似Huber関数を用いて近似し、二階微分を可能にする。
• 滑らかで強い凸性を持つ関数として問題を定式化する：fₜᵘ(x) = τψᵤ(x) + φ(x)，ここでψᵤは擬似Huber近似関数である。
• 行列を直接扱わない設定で、共役勾配（CG）法を用いて不正確なニュートンステップを計算する原双対ニュートン法を適用する。
• 近似ヘッセ行列の情報に基づく可変メトリクスをCGに導入し、明示的な因子分解なしに効率的な探索方向を生成する。
• 十分な減少を保証すると同時に、過剰な反復を避けるために最大反復回数制限を設けたバックトラッキングラインサーチを採用する。
• 可変メトリクス空間におけるCGの性質を活用し、グローバルおよび局所的収束速度、最悪ケースの複雑性バウンドを導出する。

実験結果

リサーチクエスチョン

• RQ1 大規模ℓ₁正則化問題に対して、効率的かつスケーラブルな二階最適化手法を構築できるか？
• RQ2 行列因子分解を伴わず、ℓ₁正則化問題において二階曲率情報を効果的に活用できるか？
• RQ3 強い凸性とリプシッツ的ヘッセ行列を仮定した場合、行列を直接扱わない原双対ニュートン共役勾配法の最悪ケース反復複雑性は何か？
• RQ4 ℓ₁ノルムの平滑化近似が、グローバル収束保証を伴うロバストな二階最適化を可能にするか？
• RQ5 実世界の機械学習問題において、FISTA や PCDM といった一階最適化手法に比べ、提案手法pdNCGは実用的に優位性を示せるか？

主な発見

• pdNCG手法はグローバル収束性と局所的超線形収束速度を達成し、高速収束が保証される明確な領域を有する。
• 強い凸性とリプシッツ的ヘッセ行列の仮定の下で、pdNCG手法の最悪ケース反復複雑性が確立された。
• 合成スパース最小二乗問題において、pdNCGはFISTA や PCDM よりも効率的に目的関数を低減した。
• 6つの実世界の機械学習問題（例：real-sim, news20, webspam）において、pdNCGはFISTA や PCDM よりも早期反復で高速に収束した。
• 行列因子分解を回避し、行列を直接扱わないCG法を用いることで、低メモリ使用を維持した。このため、大規模問題に適している。
• 数値実験の結果、交差検証により最適なτ値が選択された場合、すべてのテスト済みLSVM問題で90％以上の分類精度を達成した。