[論文レビュー] Scalable Stochastic Alternating Direction Method of Multipliers

Shen-Yi Zhao, Wu-Jun Li+1 more|arXiv (Cornell University)|Feb 12, 2015

Sparse and Compressive Sensing Techniques参考文献 16被引用数 17

ひとこと要約

本稿では、一般凸問題に対してO(1/T)収束率を達成するが、歴史的勾配を保存しないスケーラブルな確率的ADMM手法SCAS-ADMMを提案する。これにより、SA-ADMMなどの先行研究と同様の最良手法のメモリボトルネックを克服する。確率的近似と適応的ステップサイズ、モーメンタムを組み合わせることで、高速収束を維持しながら低メモリコストを実現し、グラフガイドドファージュドラッショ問題において最先端の性能を示す。

ABSTRACT

Stochastic alternating direction method of multipliers (ADMM), which visits only one sample or a mini-batch of samples each time, has recently been proved to achieve better performance than batch ADMM. However, most stochastic methods can only achieve a convergence rate $O(1/\sqrt T)$ on general convex problems,where T is the number of iterations. Hence, these methods are not scalable with respect to convergence rate (computation cost). There exists only one stochastic method, called SA-ADMM, which can achieve convergence rate $O(1/T)$ on general convex problems. However, an extra memory is needed for SA-ADMM to store the historic gradients on all samples, and thus it is not scalable with respect to storage cost. In this paper, we propose a novel method, called scalable stochastic ADMM(SCAS-ADMM), for large-scale optimization and learning problems. Without the need to store the historic gradients, SCAS-ADMM can achieve the same convergence rate $O(1/T)$ as the best stochastic method SA-ADMM and batch ADMM on general convex problems. Experiments on graph-guided fused lasso show that SCAS-ADMM can achieve state-of-the-art performance in real applications

研究の動機と目的

• 既存の確率的ADMM手法のスケーラビリティ制限に対処すること。これらは、収束が遅い（O(1/√T)）か、すべてのサンプルの歴史的勾配を保存する必要がある。
• 一般凸問題に対して、完全な勾配履歴を保存せずに最適なO(1/T)収束率を達成する確率的ADMMの変種を開発すること。
• 計算およびメモリの両方のスケーラビリティを確保し、大規模最適化および機械学習タスクへの効率的応用を可能にすること。
• 実世界の問題（例：グラフガイドドファージュドラッショ）における実騈的評価を通じて、本手法の優位性を検証すること。

提案手法

• SCAS-ADMMは、勾配推定値の再帰的更新を活用することで、完全な勾配を保存しない確率的近似フレームワークを用いる。
• 増加ラグランジアンのリプシッツ定数に基づく適応的ステップサイズ戦略を導入し、収束安定性を確保する。
• 双対変数更新ステップでモーメンタムに類似した更新を採用することで、収束を加速しながらO(1/T)レートを維持する。
• ミニバッチサンプリング方式を用いてADMMの部分問題を再定式化し、反復コストを低減しながら収束保証を維持する。
• 現在の反復点と過去の勾配の移動平均に依存する双対変数更新を統合し、すべての歴史的勾配を明示的に保存しない。
• 理論的分析により、一般凸性のもとでSCAS-ADMMがO(1/T)収束率を達成することを証明した。これはバッチADMMおよびSA-ADMMと同等の性能である。

実験結果

リサーチクエスチョン

• RQ1 すべてのサンプルの歴史的勾配を保存せずに、確率的ADMM手法がO(1/T)収束率を達成できるか？
• RQ2 SA-ADMMと比較して、大幅にメモリ使用量を削減しながらも高速収束を維持できるか？
• RQ3 実世界の大規模学習問題において、SCAS-ADMMは既存の確率的ADMM手法と比較してどのように性能を発揮するか？
• RQ4 強い凸性を仮定しない一般凸性仮定のもとで、提案手法が収束保証を維持できるか？
• RQ5 大規模最適化タスクにおいて、SCAS-ADMMは計算およびメモリの両面で効果的にスケーリングできるか？

主な発見

• SCAS-ADMMは、一般凸問題に対してO(1/T)収束率を達成し、バッチADMMおよびSA-ADMMの最高水準のレートと一致する。
• SA-ADMMとは異なり、SCAS-ADMMはすべてのサンプルの歴史的勾配を保存する必要がないため、メモリ使用量の面でスケーラブルである。
• グラフガイドドファージュドラッショ問題において、既存の確率的ADMM変種を上回る最先端の性能を示した。
• 実験的結果により、大規模設定下でSCAS-ADMMはSA-ADMMよりも高速に収束し、低メモリフットプリントを実現することが確認された。
• 理論的分析により、有界なリプシッツ勾配を仮定した一般凸性のもとで、SCAS-ADMMが収束を維持することが確認された。
• アルゴリズムはさまざまな問題スケールにわたり頑健であり、ハイパーパrameterの広範なチューニングなしに安定した性能を維持した。