[論文レビュー] Stochastic Dual Coordinate Ascent with Alternating Direction Multiplier Method

Taiji Suzuki|arXiv (Cornell University)|Nov 4, 2013

Sparse and Compressive Sensing Techniques参考文献 20被引用数 8

ひとこと要約

本稿では、正則化学習問題に複雑な正則化を適用するための確率的最適化手法であるSDCA-ADMMを提案する。この手法は、確率的双対座標降下法（SDCA）と交替方向乗数法（ADMM）を組み合わせ、弱い条件下でも指数的収束を維持しながら、ミニバッチ更新を可能にする。構造的スパarsityやその他の複雑な正則化を、大容量メモリを要せずに効率的に処理でき、従来のバッチ法やオンライン法を凌駕する性能を示す。

ABSTRACT

We propose a new stochastic dual coordinate ascent technique that can be applied to a wide range of regularized learning problems. Our method is based on Alternating Direction Multiplier Method (ADMM) to deal with complex regularization functions such as structured regularizations. Although the original ADMM is a batch method, the proposed method offers a stochastic update rule where each iteration requires only one or few sample observations. Moreover, our method can naturally afford mini-batch update and it gives speed up of convergence. We show that, under mild assumptions, our method converges exponentially. The numerical experiments show that our method actually performs efficiently.

研究の動機と目的

• 構造的スパarsityなどの複雑な正則化関数を扱える一方で、指数的収束を維持する確率的最適化手法の開発。
• バッチADMMのメモリおよび計算制限を克服するため、1件またはミニバッチのサンプルを用いた確率的更新ルールを導入。
• SDCA（高速収束）とADMM（複雑な正則化の取り扱いの柔軟性）の長所を統合した統一フレームワークの構築。
• SAGのようにすべての勾配を保存しなくてもよいように、データサンプルを再利用することで、大規模データセットにおける効率的・スケーラブルな学習を可能に。
• 弱い相関仮定のもとで、サブバッチ更新が単一サンプル更新よりも収束速度を向上させることの実用的利点を示すこと。

提案手法

• データポイントまたはミニバッチを確率的にサンプリングすることで、ADMMの確率的変種であるSDCA-ADMMを提案。
• ADMMの部分問題を、ランダムに選択されたサンプルに基づいて更新される双対変数を持つ双対最適化問題に変換。
• 個々のサンプルまたは小さなグループに対応する双対変数を、確率的座標降下ルールで更新することで、1反復あたりのコストを低減。
• サブバッチ（部分集合）のサンプルのみを1反復で使用するブロックワイズ更新戦略を導入し、収束を高速化。
• 収束解析にリャプノフ関数を用い、強い凸性および滑らかさの仮定のもとで、双対ギャップが指数的減少することを示した。
• サブバッチサイズに依存する収束バウンドを導出し、より大きなまたは相関の弱いサブバッチでは収束速度が向上することを示した。

実験結果

リサーチクエスチョン

• RQ1 ADMMを、メモリ使用量を削減しながら指数的収束を維持する確率的設定に適応可能か？
• RQ2 ミニバッチの使用が、提案された確率的ADMM手法の収束速度にどのように影響するか？
• RQ3 グループ化lassoやグラフ正則化スパarsityのように、近位演算子の計算が困難な複雑な正則化関数を効率的に処理できるか？
• RQ4 損失関数および正則化関数に弱い仮定をおく場合、提案手法の理論的収束挙動はいかなるものか？
• RQ5 収束速度および計算効率の観点から、サブバッチ更新が単一サンプル更新に比べて実用的な高速化をもたらすか？

主な発見

• 提案されたSDCA-ADMM手法は、損失関数の強い凸性および滑らかさの弱い仮定のもとで指数的収束を達成する。
• サンプルが相関が弱い場合、サブバッチ更新は単一サンプル更新よりも収束速度が向上する。
• 1反復あたり1〜2件のサンプルのみを処理することで、SAGのようにすべての勾配を保存する必要がなく、低メモリ使用を維持する。
• 収束速度は理論的にバウンドされ、サブバッチサイズに依存しており、より大きなまたは相関の弱いバッチでは収束が速くなる。
• 数値実験により、SDCA-ADMMがさまざまな構造的正則化タスクにおいて、標準的な確率的およびバッチ手法を上回る効率性を示した。
• 標準SDCAでは双対計算が不適切となるため実行不能となる、重複グループlassoやトレースノルム正則化などの複雑な正則化への適用が、本手法によって成功裏に拡張された。