[論文レビュー] Fast Stochastic Alternating Direction Method of Multipliers

Leon Wenliang Zhong, James T. Kwok|arXiv (Cornell University)|Aug 16, 2013

Sparse and Compressive Sensing Techniques参考文献 8被引用数 24

ひとこと要約

本稿では、線形化されたADMMフレームワーク内での完全勾配の段階的近似を用いる高速な確率的ADMMアルゴリズムを提案する。この手法は、バッチADMMと同等の最適収束速度$\/mathcal{O}(1/T)$を達成しながら、1イテレーションあたりの計算量を低く保ち、凸および強い凸な設定の両方で、既存の確率的ADMM変種を著しく上回る性能を発揮する。

ABSTRACT

In this paper, we propose a new stochastic alternating direction method of multipliers (ADMM) algorithm, which incrementally approximates the full gradient in the linearized ADMM formulation. Besides having a low per-iteration complexity as existing stochastic ADMM algorithms, the proposed algorithm improves the convergence rate on convex problems from $O(\frac 1 {\sqrt{T}})$ to $O(\frac 1 T)$, where $T$ is the number of iterations. This matches the convergence rate of the batch ADMM algorithm, but without the need to visit all the samples in each iteration. Experiments on the graph-guided fused lasso demonstrate that the new algorithm is significantly faster than state-of-the-art stochastic and batch ADMM algorithms.

研究の動機と目的

• 確率的ADMMとバッチADMMの間の収束速度のギャップを解消すること。一般的に確率的バージョンは$\\mathcal{O}(1/\\sqrt{T})$で収束する。
• バッチADMMの高速な$\\mathcal{O}(1/T)$収束速度を達成しながら、1イテレーションあたりの計算量を低く保つ確率的ADMMの変種を開発すること。
• 完全バッチ手法が計算的に非現実的であるため、グラフ誘導付き融合ラassoなどの機械学習応用における大規模最適化を可能にすること。
• 構造的スパース正則化問題において、オンライン／確率的手法とバッチ手法の性能ギャップを埋めること。
• 高次元データを扱う大規模学習タスクにおいて、バッチADMMの実用的でスケーラブルな代替手段を提供すること。

提案手法

• 線形化されたADMM更新における完全勾配の代わりに、段階的勾配近似を用いる新しい確率的ADMM変種を提案する。
• 2つの変種を導入：標準更新を用いるSA-ADMMと、不正確なウザワ法を用いるSA-IU-ADMM。両者とも計算効率を維持することを目的として設計されている。
• 増加ラグランジュアンにおける線形化を活用し、非凸または複雑な部分問題を回避することで、効率的な閉形式更新を可能にする。
• 分散を低減し、収束を加速するが、1イテレーションあたりのコストを増加させない勾配推定の平均化戦略を採用する。
• 収束性と安定性を保証するため、適切に選ばれた比例定数を用いた定数ステップサイズルールを採用する。
• 目的関数をデータ適合項（$\\phi(x)$）と正則化項（$\\psi(y)$）に分割し、共通制約$Ax + By = c$を設けることで、正則化リスク最小化問題に適用する。

実験結果

リサーチクエスチョン

• RQ1 確率的ADMMアルゴリズムが、バッチADMMと同等の$\\mathcal{O}(1/T)$収束速度を達成しつつ、1イテレーションあたりの計算量を低く保てるか。
• RQ2 線形化されたADMMフレームワーク内での段階的勾配近似が、既存の確率的ADMM手法よりも高速な収束をもたらすか。
• RQ3 実世界の機械学習データセットにおいて、提案手法が最先端の確率的およびバッチADMMアルゴリズムと比較してどのように性能を発揮するか。
• RQ4 特に$\\ell_2$正則化子を追加した強い凸な目的関数において、提案手法が高速な収束を維持できるか。
• RQ5 不正確なウザワ法（SA-IU-ADMM）は、標準ADMM更新と比較して収束速度と安定性にどのような影響を与えるか。

主な発見

• 提案されたSA-IU-ADMMアルゴリズムは、全テストデータセットで最速の収束を達成し、確率的およびバッチADMMの両方を上回る。
• a9a、covertype、quantum、rcv1、sidoの各データセットにおいて、STOC-ADMM、OPG-ADMM、RDA-ADMM、およびバッチADMMと比較して、より少ないデータの有効パス数で低い目的関数値に到達した。
• アルゴリズムはバッチADMMと同等の収束速度$\\mathcal{O}(1/T)$を達成しており、同時に確率的手法の低コストな1イテレーション計算を維持している。
• 強い凸な設定（$\\ell_2$正則化子を追加した場合）では、SA-IU-ADMMと他の手法との性能差がさらに広がり、そのロバスト性と効率性が確認された。
• 実験では、高い1イテレーションコストのため、バッチADMMは提案手法の確率的アプローチに比べて著しく遅く、最適な収束速度を達成しているにもかかわらず、実用的ではないことが示された。
• 提案手法は、複数のデータセットにおいて目的関数値とテスト損失の両面で一貫した優位性を示し、特にrcv1やsidoのような高次元データにおいて最も顕著な向上が得られた。