[論文レビュー] Linear Convergence of the Randomized Feasible Descent Method Under the Weak Strong Convexity Assumption

Chenxin Ma, Rachael Tappenden+1 more|arXiv (Cornell University)|Jun 8, 2015

Stochastic Gradient Optimization Techniques参考文献 13被引用数 8

ひとこと要約

本稿では、弱い強い凸性仮定の下で線形収束を示す確率的実行可能降下法（R-FDM）とその座標変種（RC-FDM）を導入する。また、SVMの双対問題に対するSDCAが、双対ギャップの線形収束を達成することを示し、従来の部分線形レートを改善する。

ABSTRACT

In this paper we generalize the framework of the feasible descent method (FDM) to a randomized (R-FDM) and a coordinate-wise random feasible descent method (RC-FDM) framework. We show that the famous SDCA algorithm for optimizing the SVM dual problem, or the stochastic coordinate descent method for the LASSO problem, fits into the framework of RC-FDM. We prove linear convergence for both R-FDM and RC-FDM under the weak strong convexity assumption. Moreover, we show that the duality gap converges linearly for RC-FDM, which implies that the duality gap also converges linearly for SDCA applied to the SVM dual problem.

研究の動機と目的

• 決定的実行可能降下法（FDM）の枠組みを確率的および座標別にランダム化された設定へ拡張すること。
• 弱い強い凸性の下で、確率的FDM（R-FDM）および確率的座標FDM（RC-FDM）の線形収束レートを確立すること。
• SVMの双対問題に対するSDCAアルゴリズムがRC-FDMの枠組みに適合することを示し、双対ギャップの線形収束を達成すること。
• RC-FDMが決定的FDMと同等の収束係数を達成するが、反復ごとのコストが著しく低くなる（n倍安価）ことを示すこと。

提案手法

• 探索方向をランダム化し、重み付きノルムを用いた実行可能集合Xへの射影を伴う確率的実行可能降下法（R-FDM）を提案する。
• 1回の反復で1つの座標のみを更新する、座標別にランダム化された変種（RC-FDM）を導入する。
• 正の重みベクトルwを用いて弱い強い凸性（仮定1）を定義し、重み付きノルム‖·‖_Wを導入することで、より強い収束保証を得る。
• 降下条件（f(x_{k+1}) ≤ f(x_k) - ζ‖x_k - x_{k+1}‖²）と更新における誤差の有界性（‖z_k‖ ≤ β‖x_k - x_{k+1}‖）を用いて収束を確立する。
• 勾配の座標別リプシッツ連続性（仮定2）を用いて、勾配の双対ノルムを抑え、収束係数を導出する。
• SDCAにこの枠組みを適用するため、β=0、ω_k=1、w_i = L_i = 1/(λn²)‖a_i‖²とすることで、RC-FDMと等価であることを示す。

実験結果

リサーチクエスチョン

• RQ1 決定的実行可能降下法（FDM）の枠組みを、収束を保証する確率的設定へ一般化できるか？
• RQ2 弱い強い凸性仮定の下で、確率的座標FDM（RC-FDM）は線形収束を達成するか？
• RQ3 SVMの双対問題に対するSDCAアルゴリズムはRC-FDMの枠組み内で解析可能であり、双対ギャップの線形収束を達成するか？
• RQ4 収束レートの定数と1反復あたりのコストの観点から、RC-FDMと決定的FDMの比較はいかがなっているか？
• RQ5 弱い強い凸性パラメータと問題構造は、RC-FDMおよびSDCAの収束速度にどのような影響を与えるか？

主な発見

• RC-FDMは弱い強い凸性の下で線形収束を達成し、収束係数 c = 2κ_fζ⁻¹((L_f^W + 1/ω̄)² + β²) を有する。これは決定的FDMと同等のレートを達成するが、1反復あたりのコストがn倍低い。
• SVMの双対問題にSDCAを適用した場合、双対ギャップが線形に収束する。これは従来の部分線形収束結果を改善する。
• SDCAについて、期待双対ギャップ E[G(x_k)] ≤ ε は K ≥ n(1 + 1/(2κ_f)) log(2(f(0)−f* + ‖x*‖_L²)/(sε)) 回の反復で達成される。ここで s = min{1, ελ/σ²} である。
• 弱い強い凸性パラメータ κ_f = σ_h/(2θ²) であり、特徴量が高相関である場合θが大きくなるため、劣化した問題では収束が遅くなる可能性がある。
• RC-FDMの枠組みは既知のアルゴリズムを一般化する：SVMの双対問題に対するSDCAと、LASSOに対する確率的座標降下法は、RC-FDMの特別な場合である。
• RC-FDMの収束レートは決定的FDMと同等であるが、1反復あたりのコストがn倍低いため、実用的にはより効率的である。