[論文レビュー] Fast-and-Light Stochastic ADMM

Shuai Zheng, James T. Kwok|arXiv (Cornell University)|Apr 24, 2016

Sparse and Compressive Sensing Techniques参考文献 24被引用数 32

ひとこと要約

本稿では、Stochastic Variance Reduced Gradient (SVRG) 法を ADMM に統合することで、SAG-ADMM や SDCA-ADMM と同等の高速収束を達成すると同時に、メモリ使用量を著しく削減する、新規の Fast-and-Light Stochastic ADMM アルゴリズムを提案する。収束はサンプル数 n に依存しない。実験結果により、最先端の手法と同等の速度であり、より大きなデータセットにもスケーラブルであることが確認された。

ABSTRACT

The alternating direction method of multipliers (ADMM) is a powerful optimization solver in machine learning. Recently, stochastic ADMM has been integrated with variance reduction methods for stochastic gradient, leading to SAG-ADMM and SDCA-ADMM that have fast convergence rates and low iteration complexities. However, their space requirements can still be high. In this paper, we propose an integration of ADMM with the method of stochastic variance reduced gradient (SVRG). Unlike another recent integration attempt called SCAS-ADMM, the proposed algorithm retains the fast convergence benefits of SAG-ADMM and SDCA-ADMM, but is more advantageous in that its storage requirement is very low, even independent of the sample size n. Experimental results demonstrate that it is as fast as SAG-ADMM and SDCA-ADMM, much faster than SCAS-ADMM, and can be used on much bigger data sets.

研究の動機と目的

• SAG-ADMM や SDCA-ADMM のような既存のステンスティック ADMM 変種がサンプル数 n に比例してメモリを要するという高コストを解消すること。
• 収束速度を維持しながら、ストレージのオーバーヘッドを最小限に抑えるステンスティック ADMM 変種を開発すること。
• 収束速度を保ちつつ空間計算量を低減するように、SVRG を ADMM に統合すること。
• メモリがボトルネックとなる大規模機械学習問題において、効率的な最適化を可能にすること。

提案手法

• 交替方向乗数法（ADMM）と Stochastic Variance Reduced Gradient (SVRG) 技術を組み合わせた新しい ADMM 変種を提案する。
• 双対更新ステップにおける勾配の分散を低減するために SVRG を使用し、収束の安定性と速度を向上させる。
• SAG-ADMM や SDCA-ADMM とは異なり、ストレージ要件がサンプル数 n に依存しないようにアルゴリズムを設計する。
• 標準的な ADMM と同じ反復構造を維持するが、勾配推定法を SVRG に基づく更新に置き換える。
• SVRG において制御変数（control variate）機構を採用し、全勾配履歴を保存せずに、確率的勾配の分散を低減する。
• SAG-ADMM や SDCA-ADMM とは異なり、各サンプルの勾配情報を保存する必要がないため、低メモリ使用量を実現する。

実験結果

リサーチクエスチョン

• RQ1 SVRG を ADMM に効果的に統合することで、高速収束と低メモリ使用を両立できるか？
• RQ2 提案手法は、SAG-ADMM や SDCA-ADMM と比較して収束速度とスケーラビリティにおいて優れているか？
• RQ3 SCAS-ADMM と比較して、ストレージ複雑度を低減しながらも高速収束を維持できるか？
• RQ4 低メモリフットプリントのおかげで、従来のステンスティック ADMM 手法よりも大きなデータセットを処理できるか？

主な発見

• 提案手法は、SAG-ADMM や SDCA-ADMM と同等の収束速度を達成しており、大規模問題においても高速収束を示している。
• ストレージ要件がサンプル数 n に依存しないため、SAG-ADMM や SDCA-ADMM よりも顕著にメモリ効率が良い。
• 理論的収束速度が似通っているにもかかわらず、実際の実行では SCAS-ADMM よりもはるかに高速である。
• 実験結果により、低メモリ使用量と高速性のおかげで、大規模データセットへのスケーリングが有効に実現されていることが確認された。