[論文レビュー] Stochastic Primal-Dual Coordinate Method for Regularized Empirical Risk Minimization

Yuchen Zhang, Lin Xiao|arXiv (Cornell University)|Sep 10, 2014

Sparse and Compressive Sensing Techniques参考文献 49被引用数 107

ひとこと要約

本稿では、大規模な機械学習における正則化付き経験的リスク最小化（ERM）のための確率的プライマル・デュアル座標（SPDC）手法を提案する。この手法は、確率的デュアル更新と外挿を伴うプライマル更新を交互に実行することで、加速された収束を達成し、効率的なミニバッチおよび重み付きサンプリングの変種を可能にし、より優れた複雑度の上限を得られる。

ABSTRACT

We consider a generic convex optimization problem associated with regularized empirical risk minimization of linear predictors. The problem structure allows us to reformulate it as a convex-concave saddle point problem. We propose a stochastic primal-dual coordinate (SPDC) method, which alternates between maximizing over a randomly chosen dual variable and minimizing over the primal variable. An extrapolation step on the primal variable is performed to obtain accelerated convergence rate. We also develop a mini-batch version of the SPDC method which facilitates parallel computing, and an extension with weighted sampling probabilities on the dual variables, which has a better complexity than uniform sampling on unnormalized data. Both theoretically and empirically, we show that the SPDC method has comparable or better performance than several state-of-the-art optimization methods.

研究の動機と目的

• 大規模な正則化付き経験的リスク最小化（ERM）問題におけるバッチ勾配法の計算非効率性を解消すること。
• 1反復あたりのコストを低く保ちつつ、条件数κが大きな悪条件問題に対しても高速な収束を達成する最適化手法を開発すること。
• ミニバッチ版の導入により並列処理を効率的に可能とし、デュアル変数に対する重み付きサンプリングにより収束性を向上させること。
• 標準的な滑らかさおよび強凸性の仮定の下で、最先端の手法と同等またはそれを上回る理論的収束保証と複雑度の上限を与えること。

提案手法

• プライマル・デュアル最適化を可能にするために、正則化付きERM問題を凸-凹なサドルポイント問題に再定式化する。
• ランダムに選択されたデュアル変数に関して最大化し、同時にプライマル変数に関して最小化する、確率的プライマル・デュアル座標（SPDC）手法を提案する。
• 収束を加速するためにプライマル変数に外挿ステップを組み込み、反復の複雑度を改善する。
• 並列および分散処理をサポートするため、SPDCのミニバッチ版を設計し、全体の実行時間を短縮する。
• デュアル変数に対する重み付きサンプリング確率を導入し、特に正規化されていないデータにおいて、一様サンプリングよりも理論的複雑度が優れている。
• 符号としきい値処理の論理に基づく再帰的閉形式式を用いて、(ℓ₁ + ℓ₂)-ノルム正則化された場合にO(1)の更新手順を実現する。

実験結果

リサーチクエスチョン

• RQ1 大規模なEKM問題において、既存のインクリメンタルおよび確率的勾配法と比較して、確率的プライマル・デュアル座標法がより速い収束を達成できるか？
• RQ2 プライマル更新に外挿を組み込むことで、SPDC手法の収束速度にどのような影響を与えるか？
• RQ3 重み付きサンプリングの下でのSPDCの理論的複雑度は一様サンプリングと比較してどうなるか？特に正規化されていないデータにおいて利点があるか？
• RQ4 ミニバッチ拡張によりSPDCを効率的に並列化できるか？収束保証は維持されるか？
• RQ5 標準的な機械学習ベンチマークにおいて、SAG、SDCA、SVRGといった最先端の最適化アルゴリズムと比較して、SPDCは実験的にどのように性能を発揮するか？

主な発見

• 滑らかさおよび強凸性の仮定を満たす問題に対して、SPDC手法は反復複雑度O(κ log(1/ε))の加速された収束速度を達成する。
• SPDCのミニバッチ版は効率的な並列処理を可能にし、大規模データセットにおいても収束保証を維持しながら実行時間を短縮する。
• デュアル変数に対する重み付きサンプリングは、特に特徴量が正規化されていない場合に、一様サンプリングよりも理論的複雑度が優れる。
• (ℓ₁ + ℓ₂)-正則化された問題では、符号としきい値処理に基づく再帰的閉形式式を用いて、1座標あたりO(1)の更新手順を実現でき、高速かつメモリ効率の良い計算が可能になる。
• 実験的結果から、SPDCはSAG、SDCA、SVRGといった最先端の手法と同等またはそれ以上の収束速度および最終的な目的関数値を達成することが示された。
• 理論的分析により、標準的な仮定の下で線形収束が保証され、条件数依存性が既存の手法と同等またはそれを上回ることが確認された。