[論文レビュー] Super-Linear Convergence of Dual Augmented-Lagrangian Algorithm for Sparsity Regularized Estimation

Ryota Tomioka, Taiji Suzuki+1 more|arXiv (Cornell University)|Nov 20, 2009

Sparse and Compressive Sensing Techniques参考文献 67被引用数 59

ひとこと要約

本稿は、スパarsity正則化推定に対するデュアル増大ラグランジュ（DAL）アルゴリズムの新しい収束解析を提案し、DALをプロキシマル最小化法として解釈する。弱い条件下でも、グローバルかつ非漸近的な超線形収束を確立し、古典的な増大ラグランジュ収束結果を著しく改善し、大規模な ℓ₁ 正則化ロジスティック回帰において優れた効率性を示す。

ABSTRACT

We analyze the convergence behaviour of a recently proposed algorithm for regularized estimation called Dual Augmented Lagrangian (DAL). Our analysis is based on a new interpretation of DAL as a proximal minimization algorithm. We theoretically show under some conditions that DAL converges super-linearly in a non-asymptotic and global sense. Due to a special modelling of sparse estimation problems in the context of machine learning, the assumptions we make are milder and more natural than those made in conventional analysis of augmented Lagrangian algorithms. In addition, the new interpretation enables us to generalize DAL to wide varieties of sparse estimation problems. We experimentally confirm our analysis in a large scale $\ell_1$-regularized logistic regression problem and extensively compare the efficiency of DAL algorithm to previously proposed algorithms on both synthetic and benchmark datasets.

研究の動機と目的

• スパarsity正則化推定のためのデュアル増大ラグランジュ（DAL）アルゴリズムの厳密で非漸近的な収束解析を提供すること。
• DALをプロキシマル最小化アルゴリズムとして再解釈し、より強い理論的保証を可能にすること。
• 古典的な増大ラグランジュ解析よりも弱く自然な仮定のもとで、超線形収束を確立すること。
• プロキシマルフレームワークを活用して、DALを広範なスパarsity推定問題に一般化すること。
• 大規模な ℓ₁ 正則化ロジスティック回帰およびベンチマークデータセット上で理論的発見を実証的に検証すること。

提案手法

• BeckとTeboulle（2009）の最近の結果を用いて収束解析を可能にするために、DALをプロキシマル最小化アルゴリズムとして再定式化する。
• 最適化問題の双対形式を用いて、中間解におけるスパarsityを活用し、効率的な内部最小化を実現する。
• 反復回ごとの誤差ベクトルのノルム ‖wᵗ − W⁎‖² の減少を分析することで、超線形収束を確立する。
• 収束速度を制御するためのパラメータ δ = (1−ε)/(σηₜ) を導入し、誤差低減要因の上限を導出する。
• 双対目的関数の強凸性およびリプシッツ連続性の仮定を用いて、1反復あたりの進捗の下限を導出する。
• Fenchel共役および双対性理論を用いて、プライマルおよび双対反復を関連付け、収束不等式を導出する。

実験結果

リサーチクエスチョン

• RQ1 デュアル増大ラグランジュ（DAL）アルゴリズムは、スパarsity推定問題において、非漸近的かつグローバルに超線形収束を達成できるか？
• RQ2 DALのプロキシマル最小化解釈は、古典的な増大ラグランジュ理論に比べて収束解析をどのように改善するか？
• RQ3 スパarsity推定の超線形収束を保証するのに十分な、弱く自然な損失関数および正則化関数の条件は何か？
• RQ4 DALフレームワークは、標準的な ℓ₁ 正則化モデルを超えたさまざまなスパarsity推定問題にどの程度一般化可能か？
• RQ5 大規模な機械学習データセットにおいて、DALの収束行動は既存のアルゴリズムと比べてどのように異なるか？

主な発見

• DALアルゴリズムは、グローバルかつ非漸近的に超線形に収束する。これは、ϵ-精度に到達するのに必要な反復回数が 1/ϵ の対数関数的成長を超えないことを意味する。
• 収束速度は ‖wᵗ⁺¹ − W⁎‖² ≤ 1/(1 + εσηₜ)² × ‖wᵗ − W⁎‖² で抑えられ、超線形減衰が示される。
• 問題固有の構造を活用することで、Rockafellar（1976b）の古典的結果を改善し、より弱い仮定を許容する。
• プロキシマル最小化解釈により、DALは強凸でない正則化関数（例えばロジスティック損失）を含む、多様な正則化関数および損失関数に一般化可能である。
• 大規模な ℓ₁ 正則化ロジスティック回帰における実証的結果は、理論的収束加速を確認し、DALが従来のアルゴリズムを上回る効率性を示している。
• 設計行列に関する仮定（例えばスパarsity、条件数）を必要とせず、グローバル収束を達成するため、実世界の機械学習応用において頑健である。