[論文レビュー] An Asynchronous Distributed Proximal Gradient Method for Composite Convex Optimization

Necdet Serhat Aybat, Garud Iyengar+1 more|arXiv (Cornell University)|Sep 30, 2014

Sparse and Compressive Sensing Techniques参考文献 21被引用数 28

ひとこと要約

本稿では、各ノードがプライベートな凸関数を保持し、隣接ノードとのみ通信するネットワーク上で、合成凸最適化の非同期分散プロキシマル勾配法（DFAL）を提案する。この手法は、$\mathcal{O}(\log(\epsilon^{-1}))$ 回の反復で $\epsilon$-最適かつ $\epsilon$-妥当な解に収束し、各ノードあたり $\mathcal{O}(\frac{\psi_{\max}^{1.5}}{d_{\min}} \epsilon^{-1})$ 回のプロキシマル勾配計算を実行する。収束保証にはグラフラプラシアンの固有値特性を活用する。

ABSTRACT

We propose a distributed first-order augmented Lagrangian (DFAL) algorithm to minimize the sum of composite convex functions, where each term in the sum is a private cost function belonging to a node, and only nodes connected by an edge can directly communicate with each other. This optimization model abstracts a number of applications in distributed sensing and machine learning. We show that any limit point of DFAL iterates is optimal; and for any $ε>0$, an $ε$-optimal and $ε$-feasible solution can be computed within $\mathcal{O}(\log(ε^{-1}))$ DFAL iterations, which require $\mathcal{O}(\frac{ψ_{\max}^{1.5}}{d_{\min}} ε^{-1})$ proximal gradient computations and communications per node in total, where $ψ_{\max}$ denotes the largest eigenvalue of the graph Laplacian, and $d_{\min}$ is the minimum degree of the graph. We also propose an asynchronous version of DFAL by incorporating randomized block coordinate descent methods; and demonstrate the efficiency of DFAL on large scale sparse-group LASSO problems.

研究の動機と目的

• ネットワーク化・分散型の設定下で、合成凸関数の和を最小化するための分散型一階最適化アルゴリズムを設計すること。
• ノード間の通信および計算のオーバーヘッドを最小限に抑えながら、最適解への収束を保証すること。
• 大規模な分散機械学習およびセンシング応用において生じるプライバシー、メモリ、通信制約を扱えること。
• 遅延付きまたは順不同の更新に対しても収束性と効率性を維持する非同期バージョンを開発すること。
• 実際のネットワークトポロジーを用いた大規模なスパースグループLASSO問題において、手法の効率性を実証すること。

提案手法

• グローバル最適化問題を、各ノードが局所変数を保持し、等式制約を通じて合意を強制する連結な無向グラフ上でのコアリション問題に再定式化する。
• 局所的プロキシマル勾配ステップとコアリション制約に対する双対勾配上昇更新を交互に実行する分散型増強ラグランジュ（DFAL）フレームワークを採用する。
• ノードごとに非滑らかな成分 $\rho_i$ のプロキシマル写像と滑らかな成分 $\gamma_i$ の勾配を用いることで、局所計算を効率化する。
• 非同期バージョン（AFAL）は、ランダム化ブロック座標降下を統合し、ノード間で独立かつ非同期の更新を可能にする。
• 収束性は、特に $\psi_{\max}$（最大固有値）と $d_{\min}$（最小ノード次数）を特徴とするグラフラプラシアンの固有値特性に基づいて確立される。
• 本手法は、$\mathcal{O}(\log(\epsilon^{-1}))$ 回の反復内で $\epsilon$-最適性と $\epsilon$-妥当性を達成し、ノードあたりの通信および計算総数が有界であることを保証する。

実験結果

リサーチクエスチョン

• RQ1 非同期条件下で、分散型一階最適化手法が合成凸最適化に対して $\mathcal{O}(\log \epsilon^{-1})$ の反復複雑度を達成できるか。
• RQ2 特にスペクトルギャップと最小次数に注目したネットワークトポロジーが、分散型プロキシマルアルゴリズムの収束速度に与える影響は何か。
• RQ3 同期更新を要件としない非同期分散アルゴリズムが、収束性および最適性の保証を維持できるか。
• RQ4 既存の分散ADMMおよび勾配ベースの手法と比較して、提案手法DFALの効率性およびスケーラビリティはいかがなものか。
• RQ5 共有されるか、プライベートな正則化構造（例：グループLASSO）が、分散最適化のパフォーマンスに与える影響は何か。

主な発見

• DFALアルゴリズムは最適解に収束し、その反復の任意の極限点は、合成凸問題に対してグローバルに最適である。
• 本手法は、$\mathcal{O}(\log(\epsilon^{-1}))$ 回の反復内で $\epsilon$-最適かつ $\epsilon$-妥当な解を計算し、対数的反復複雑度を達成する。
• ノードあたりのプロキシマル勾配計算および通信回数の総数は、$\mathcal{O}\left(\frac{\psi_{\max}^{1.5}}{d_{\min}} \epsilon^{-1}\right)$ で有界であり、ここで $\psi_{\max}$ はグラフラプラシアンの最大固有値、$d_{\min}$ は最小ノード次数である。
• 非同期バージョン（AFAL）は収束性を維持し、同期版と同等の性能を示す。更新遅延に対して高いロバストネスを示す。
• スパースグループLASSO問題における実験的結果から、DFALはADMMおよびSADMMを上回る収束速度とスケーラビリティを示し、スターやクリークトポロジーにおいても有効である。
• グループLASSO型正則化子 $\rho(x) = \beta_1\|x\|_1 + \beta_2\|x\|_G$ のプロキシマル写像は閉形式解を有し、効率的な実装を可能にする。