[論文レビュー] Accelerated Stochastic ADMM with Variance Reduction

Chao Zhang, Zebang Shen+4 more|arXiv (Cornell University)|Nov 13, 2016

Sparse and Compressive Sensing Techniques参考文献 21被引用数 3

ひとこと要約

本稿では、分散低減とネステロフ風の加速を組み合わせることで滑らかさ定数 L_f に関して最適な O(1/N²) 収束速度を達成する、新しい確率的 ADMM アルゴリズムである Accelerated SVRG-ADMM (ASVRG-ADMM) を提案する。この手法は補助変数と適応的モーメンタムを用いて、大規模な経験的リスク最小化問題における収束を加速する。

ABSTRACT

Alternating Direction Method of Multipliers (ADMM) is a popular method for solving large-scale Machine Learning problems. Stochastic ADMM was proposed to reduce the per iteration computational complexity, which is more suitable for big data problems. Recently, variance reduction techniques have been integrated with stochastic ADMM in order to get a faster convergence rate, such as SAG-ADMM and SVRG-ADMM. However, their convergence rate is still suboptimal w.r.t the smoothness constant. In this paper, we propose an accelerated stochastic ADMM algorithm with variance reduction, which enjoys a faster convergence than all the existing stochastic ADMM algorithms. We theoretically analyse its convergence rate and show its dependence on the smoothness constant is optimal. We also empirically validate its effectiveness and show its priority over other stochastic ADMM algorithms.

研究の動機と目的

• 既存の確率的 ADMM 手法の収束速度が最適でない（特に O(1/√N) の速度）という問題に対処する。これは大規模データセット上での性能を制限する。
• SVRG などの分散低減技術とネステロフ風の加速を統合することで、滑らかさ定数 L_f に関してより速い収束を実現する。
• 特に L_f が大きい（ビッグデータ由来）場合に顕著に影響を受けるが、低コストの反復計算を維持しながら最適な収束速度を達成する手法を開発する。
• 理論的および実騴的検証を通じて、SAG-ADMM や SVRG-ADMM、および決定的加速 ADMM よりも、ビッグデータ環境下で優れた性能を示すことを示す。

提案手法

• 補助変数を用いて、分散低減（SVRG）とネステロフ型加速を統合した確率的 ADMM の変種である ASVRG-ADMM を提案する。
• 反復ごとに変化する適応的重み α₂,s と α₃,s を用いたモーメンタムに基づく更新則を採用し、収束を加速しながら安定性を維持する。
• x 更新を簡素化するため、線形化された増大ラグランジュ法を採用し、(L̄I + β₁AᵀA)⁻¹ の事前計算により計算を効率化する。
• ハイブリッド更新戦略を採用し、x 更新に現在の反復点、以前の平均化された反復点、およびモーメンタム項を組み合わせることで、分散を低減し収束を加速する。
• 収束速度の向上を図るため、モーメンタムと分散低減勾配推定値を追跡する補助点 ỹ_s と ỹ_s^ag を維持する。
• ステップサイズパラメータ η_s と ρ_s を動的に調整し、時間経過とともに有効なステップサイズを増加させ、収束速度を向上させる。

実験結果

リサーチクエスチョン

• RQ1 分散低減とネステロフ加速を確率的 ADMM フレームワークに効果的に統合することで、既存手法よりも速い収束が達成可能か？
• RQ2 提案手法である ASVRG-ADMM は、決定的加速手法と同様に、滑らかさ定数 L_f に関して最適な O(1/N²) 収束速度を達成するか？
• RQ3 大規模な経験的リスク最小化問題において、特に L_f 値が大きい（ビッグデータ由来のもの）場合に、実際の性能はいかがなっているか？
• RQ4 SAG-ADMM や SVRG-ADMM よりも速い収束を達成しつつ、反復ごとの計算コストを低く保てるか？

主な発見

• ASVRG-ADMM は滑らかさ定数 L_f に関して O(1/N²) の収束速度を達成しており、これは最適であり、最高の決定的加速手法と同等である。
• L_f が大きい場合（例：covtype データセットでは L_f ≈ 2.02×10⁷）、ASVRG-ADMM は 50 回のデータの有効なパスを経過しても、SAG-ADMM や SVRG-ADMM よりも著しく速く収束する。
• L_f が小さい小規模データセット（a9a, w8a, ijcnn1）においても、20 回の有効なパス以内に両基準手法よりも速く収束し、一貫した優位性を示す。
• 本手法は、さまざまなデータ分布やスケールに強く、テストした4つのデータセットすべてで、他の手法よりも目的関数値がより速く減少する。
• 行列逆行列の事前計算と適応的ステップサイズの採用により、計算オーバーヘッドを低く保ち、大規模問題へのスケーラビリティを確保する。
• m=1 の場合、ASVRG-ADMM は Ouyang 他 (2015) の決定的加速 ADMM に還元され、先行研究と整合性を保つ。