[論文レビュー] Proximal Stochastic Dual Coordinate Ascent

Shai Shalev‐Shwartz, Tong Zhang|arXiv (Cornell University)|Nov 12, 2012

Sparse and Compressive Sensing Techniques参考文献 15被引用数 88

ひとこと要約

この論文では、非滑らかおよび滑らかな損失関数を伴う正則化された経験的リスク最小化問題を解くための新しいアルゴリズムであるProximal Stochastic Dual Coordinate Ascent (Prox-SDCA)を紹介する。双対目的関数に対する近似を用い、強い凸性を活用することで、Prox-SDCAは最適な収束速度を達成し、ℓ₁正則化回帰や構造的SVMの問題において、最先端の結果と同等またはそれを上回る性能を示す。

ABSTRACT

We introduce a proximal version of dual coordinate ascent method. We demonstrate how the derived algorithmic framework can be used for numerous regularized loss minimization problems, including $\ell_1$ regularization and structured output SVM. The convergence rates we obtain match, and sometimes improve, state-of-the-art results.

研究の動機と目的

• 非滑らかおよび滑らかな損失を含む正則化された損失最小化問題に対する統一的で効率的な最適化フレームワークの開発。
• ℓ₁やグループラassoのような一般の凸正則化子に由来する近位項を扱えるように、双対座標降下法を拡張すること。
• 滑らかおよび非滑らかな設定の両方において、改善された反復複雑度を有する理論的収束保証の確立。
• ℓ₁正則化線形モデルや構造的出力SVMなどの実用的問題における手法の有効性の実証。

提案手法

• アルゴリズムは、各反復で双対変数を更新し、双対目的関数の下界近似を最大化する確率的双対上昇フレームワークを用いる。
• 複雑な正則化子を扱うために、正確な双対更新の代わりに、最適化を容易にする下界を保証する近位近似を導入する。
• 手法は損失関数および正則化子の凸共役関数に依存し、収束基準として双対ギャップを用いる。
• 滑らかな損失に対しては、共役関数の強い凸性を活用して線形収束を達成する。
• リプシッツ連続な損失に対しては、収束を保証するための減少ステップサイズ戦略を用いることで、収束は非線形となる。
• 双対解と整合性を保つために、正則化子の共役関数の勾配を用いてプライム変数を回復する。

実験結果

リサーチクエスチョン

• RQ1 ℓ₁正則化子のような非滑らか正則化子を扱えるように、確率的双対上昇法を近位近似を用いて拡張することは可能か？
• RQ2 損失関数がリプシッツ連続である場合、確率的双対座標降下法が達成できる収束速度は何か？
• RQ3 提案手法の収束速度は、正則化学習問題における既存の最先端アルゴリズムと比較してどうなるか？
• RQ4 確率的設定において、双対ギャップを理論的保証とともに停止基準として効果的に使用できるか？
• RQ5 滑らかおよび非滑らかな設定の両方において、ε-最適解を達成するための最適な反復複雑度は何か？

主な発見

• Prox-SDCA手法は、非滑らかな損失に対して双対ギャップの減少率がO(1/t)であることを達成し、ε-最適解にO(1/ε)反復で収束することが保証される。
• 滑らかな損失に対しては、収束速度がO(1/t²)の線形収束を達成し、このような問題における最良の既知の理論的境界と一致する。
• ℓ₁正則化問題に対して、反復複雑度が最適であり、収束速度の面で従来の確率的手法を改善する。
• 収束解析により、非滑らかな問題ではε-最適性に到達するのに必要な反復数がO(1/ε)、滑らかな問題ではO(log(1/ε))であることが示された。
• 近位フレームワークによる複雑な正則化子の扱いの能力のおかげで、構造的出力SVMやその他の構造的予測問題にも適用可能である。
• 理論的境界により、双対ギャップがO(1/t)の割合で減少することが示され、t反復後の期待される最適性の誤差がO(1/t)で抑えられ、λやGなどの問題パラメータに明示的な依存関係があることが分かった。