[論文レビュー] Accelerated Variance Reduced Stochastic ADMM

Yuanyuan Liu, Fanhua Shang+1 more|arXiv (Cornell University)|Jul 11, 2017

Sparse and Compressive Sensing Techniques参考文献 32被引用数 25

ひとこと要約

本稿では、加速されたバリアンス削減確率的ADMMであるASVRG-ADMMを提案する。この手法は、SVRG-ADMMにモーメンタム加速を統合し、一般凸問題に対してO(1/T²)の収束速度を達成するとともに、強い凸問題に対しては線形収束を実現する。同時に、1反復あたりの計算量とメモリ使用量を低く保つ。

ABSTRACT

Recently, many variance reduced stochastic alternating direction method of multipliers (ADMM) methods (e.g.\ SAG-ADMM, SDCA-ADMM and SVRG-ADMM) have made exciting progress such as linear convergence rates for strongly convex problems. However, the best known convergence rate for general convex problems is O(1/T) as opposed to O(1/T^2) of accelerated batch algorithms, where $T$ is the number of iterations. Thus, there still remains a gap in convergence rates between existing stochastic ADMM and batch algorithms. To bridge this gap, we introduce the momentum acceleration trick for batch optimization into the stochastic variance reduced gradient based ADMM (SVRG-ADMM), which leads to an accelerated (ASVRG-ADMM) method. Then we design two different momentum term update rules for strongly convex and general convex cases. We prove that ASVRG-ADMM converges linearly for strongly convex problems. Besides having a low per-iteration complexity as existing stochastic ADMM methods, ASVRG-ADMM improves the convergence rate on general convex problems from O(1/T) to O(1/T^2). Our experimental results show the effectiveness of ASVRG-ADMM.

研究の動機と目的

• 従来、確率的ADMMは一般凸問題に対してO(1/T)の収束速度を示していたが、バッチ法ではO(1/T²)の高速収束が達成されていた。この収束速度のギャップを解消すること。
• 一般凸問題に対してO(1/T²)の加速収束速度を達成しつつ、1反復あたりの計算量を低く保つ確率的ADMMの変種を開発すること。
• バッチ最適化からのモーメンタム加速を、バリアンス削減されたSVRG-ADMMフレームワークに統合し、収束速度を向上させること。
• すべての勾配や双対変数を保存しないことで、メモリ使用量を低く保つ。これにより、一部の先行手法とは異なり、計算コストを抑える。
• 強い凸および一般凸の両ケースに対して、明示的な収束レート解析を含む理論的収束保証を提供すること。

提案手法

• Nesterov風のモーメンタムをSVRG-ADMMフレームワークに組み込み、収束速度を加速するASVRG-ADMMを提案する。
• 強い凸問題と一般凸問題の両方に適した2種類の異なるモーメンタム更新則を設計する。
• 直前の反復と減少するパラメータのシーケンスに依存する再帰的モーメンタム更新メカニズムを採用する。
• プライマル、双対、モーメンタムの各成分に関連する項を組み合わせたリャプノフ関数を導入し、収束を分析する。
• バリアンス削減の下で安定性と収束を保証するために、反復点の重み付き平均化スキームを適用する。
• ADMMにおける補助変数y = Axの構造を活用し、勾配更新と双対更新を含む管理しやすい部分問題に最適化を分解する。

実験結果

リサーチクエスチョン

• RQ1 バッチ最適化からのモーメンタム加速を、バリアンス削減付きの確率的ADMMに成功裏に適応できるか？
• RQ2 SVRG-ADMMにモーメンタムを統合することで、一般凸問題の収束速度が向上するか？
• RQ3 提案手法が、低いメモリ使用量と計算コストを維持しながら、強い凸問題に対して線形収束を達成できるか？
• RQ4 SAG-ADMM や SVRG-ADMM といった既存の確率的ADMM変種と比較して、新しい手法の収束速度はどのように異なるか？
• RQ5 異なる凸性仮定の下で、加速された確率的ADMMの収束に対して、どのような理論的保証を証明できるか？

主な発見

• ASVRG-ADMMは、一般凸問題に対してO(1/T²)の収束速度を達成しており、SAG-ADMM や SVRG-ADMM のO(1/T)に比べてT倍速い。
• 強い凸問題に対しては、ASVRG-ADMMは線形収束を達成し、SDCA-ADMM や SVRG-ADMM の最高水準のレートを再現する。
• 1反復あたりの計算量とO(d₁d₂)のメモリ使用量を維持しており、すべての勾配や双対変数を保存する必要がない。
• 理論的分析により、プライマル、双対、モーメンタムの各項を反復ごとに追跡するリャプノフ関数を用いた収束の確認がなされた。
• 実験結果により、ASVRG-ADMMは収束速度と解の品質の両面で、最先端の確率的ADMM手法を上回ることが示された。
• 収束境界は、Lipschitz定数L、双対変数の有界性Dλ、行列ノルム||AᵀA||₂といった問題固有の定数に依存し、分母にTの2乗の明示的依存関係を持つ。