[論文レビュー] Distributed Stochastic Optimization of the Regularized Risk

Shin Matsushima, Hyokun Yun+2 more|arXiv (Cornell University)|Jun 17, 2014

Stochastic Gradient Optimization Techniques参考文献 44被引用数 6

ひとこと要約

本稿では、正則化リスク最小化を鞍点問題に再定式化することで、効率的でスケーラブルな並列確率的最適化を可能にする、新しいアルゴリズムである分散確率的最適化（DSO）を提案する。この手法はプロセッサ数に応じてほぼ線形の高速化を達成し、大規模データセットにおいて、既存の並列確率的およびバッチ最適化手法よりも収束性能および一般化性能に優れる。

ABSTRACT

Many machine learning algorithms minimize a regularized risk, and stochastic optimization is widely used for this task. When working with massive data, it is desirable to perform stochastic optimization in parallel. Unfortunately, many existing stochastic optimization algorithms cannot be parallelized efficiently. In this paper we show that one can rewrite the regularized risk minimization problem as an equivalent saddle-point problem, and propose an efficient distributed stochastic optimization (DSO) algorithm. We prove the algorithm's rate of convergence; remarkably, our analysis shows that the algorithm scales almost linearly with the number of processors. We also verify with empirical evaluations that the proposed algorithm is competitive with other parallel, general purpose stochastic and batch optimization algorithms for regularized risk minimization.

研究の動機と目的

• 大規模機械学習における確率的最適化を効率的に並列化する課題に対処すること。
• 大規模データセット上で収束保証および一般化性能を維持する分散確率的アルゴリズムを開発すること。
• PSGDのような既存の並列確率的手法がしばしば部分最適解に収束するという限界を克服すること。
• SVM やロジスティック回帰を含む、滑らかでない正則化リスク最小化問題にも適用可能な統一的なフレームワークを提供すること。
• テラスケールデータセット上で提案されたアルゴリズムのスケーラビリティと有効性を実験的に検証すること。

提案手法

• 双対性を用いて正則化リスク最小化問題を鞍点問題に再定式化し、交互最小化による分散最適化を可能にする。
• アルゴリズムは、ランダムに抽出されたデータポイントに基づく確率的勾配更新を用い、各プロセッサが局所的なモデルパラメータと双対変数を維持する。
• 主な革新点は、グローバル最適解への収束を保ちながら、プロセッサ間で独立して更新が可能な双対分解アプローチの導入である。
• 元の正則化リスク問題と鞍点定式化との等価性を活用することで、分散計算下でも解が最適のまま保たれることを保証する。
• 収束を保証するステップサイズスケジュールを採用し、理論的分析によりプロセッサ数に応じたほぼ線形のスケーリングが示されている。
• 滑らか（例：ロジスティック回帰）および滑らかでない（例：SVM）損失関数と正則化項を両方取り扱えるように設計されている。

実験結果

リサーチクエスチョン

• RQ1 正則化リスク最小化を鞍点問題に再定式化することで、効率的な分散確率的最適化が可能になるか？
• RQ2 提案されたDSOアルゴリズムは、並列環境下でプロセッサ数に応じてほぼ線形のスケーラビリティを達成するか？
• RQ3 BMRM や SGD といった最先端のバッチおよび確率的最適化手法と比較して、DSOは収束速度および一般化性能で優れるか？
• RQ4 サブサンプリングが性能を低下させるようなテラスケールデータセットにおいて、DSOは高いテスト精度を維持できるか？
• RQ5 非同期な分散更新下でもDSOの収束性は保たれるか？また、適応的ステップサイズによりさらなる改善が可能か？

主な発見

• DSOはプロセッサ数に応じてほぼ線形の高速化を達成し、分散環境における強力なスケーラビリティを示している。
• webspam-t データセットでは、DSOはBMRMやSGDと同等の品質の解に収束するが、最終的な解の品質でPSGDを上回っている。
• 5000万サンプルのスプライスサイト認識データセットでは、DSOは時間経過とともにAUPRCが安定して向上しており、部分的な学習でも優れた一般化性能を示している。
• サブサンプリングを行わずとも、テラスケールデータで高いテスト精度を維持しており、大規模データセットに適したことを確認している。
• 実験的結果から、DSOのテスト誤差は時間経過とともに一貫して減少するが、BMRMのようなバッチソルバーとは異なり、学習中にも変動が少ない。
• 理論的分析により、強い凸性を仮定せずともDSOがグローバル最適解に収束することが確認され、適用範囲が広がっている。