[論文レビュー] Distributed Linearized Alternating Direction Method of Multipliers for Composite Convex Consensus Optimization

Necdet Serhat Aybat, Zi Wang+2 more|arXiv (Cornell University)|Dec 26, 2015

Stochastic Gradient Optimization Techniques被引用数 6

ひとこと要約

本稿では、非対称ネットワーク上で合成凸コアリション最適化を実行するための分散型近接勾配法であるDPGAを提案する。DPGAは線形化されたADMMに基づくもので、各エージェントは局所的な近接写像と勾配を計算し、隣接エージェントと通信することで、サブ最適性およびコアリション違反に関して$Ó(1/t)$の収束速度を達成する。これは、確率的変種SDPGAにおいても、勾配のノイズが存在する状況でも同様に成立する。

ABSTRACT

Given an undirected graph $\mathcal{G}=(\mathcal{N},\mathcal{E})$ of agents $\mathcal{N}=\{1,\ldots,N\}$ connected with edges in $\mathcal{E}$, we study how to compute an optimal decision on which there is consensus among agents and that minimizes the sum of agent-specific private convex composite functions $\{Φ_i\}_{i\in\mathcal{N}}$ while respecting privacy requirements, where $Φ_i riangleq ξ_i + f_i$ belongs to agent-$i$. Assuming only agents connected by an edge can communicate, we propose a distributed proximal gradient method DPGA for consensus optimization over both unweighted and weighted static (undirected) communication networks. In one iteration, each agent-$i$ computes the prox map of $ξ_i$ and gradient of $f_i$, and this is followed by local communication with neighboring agents. We also study its stochastic gradient variant, SDPGA, which can only access to noisy estimates of $ abla f_i$ at each agent-$i$. This computational model abstracts a number of applications in distributed sensing, machine learning and statistical inference. We show ergodic convergence in both sub-optimality error and consensus violation for DPGA and SDPGA with rates $\mathcal{O}(1/t)$ and $\mathcal{O}(1/\sqrt{t})$, respectively.

研究の動機と目的

• エージェントが個々の合成凸関数の和を最小化しつつ、グローバルな意思決定について合意に至らなければならないネットワークにおける分散最適化の課題に対処すること。
• 完全なデータ共有を必要とする中央集権的アプローチの限界を克服し、プライバシー侵害を回避するとともに、通信コストとメモリコストを低減すること。
• グローバルなネットワークパラメータに依存せず、隣接エージェント間でのローカル通信のみを必要とする完全に分散型のアルゴリズムを構築すること。
• 特に、非滑らかな部分の近接写像が計算可能であるという最小限の仮定のもとで、保証された収束速度を達成すること。
• ノイズのある勾配やストリーミングデータが利用可能な環境に適応できるように、アルゴリズムを確率的勾配に拡張すること。

提案手法

• 各エージェントがローカル計算（$\xi_i$の近接写像と$f_i$の勾配）を実行し、その後に隣接エージェントと通信する分散型近接勾配アルゴリズムDPGAを提案。この手法は線形化されたADMMに基づく。
• 一致制約を分離できるように線形化された増加ラグランジアンを用いることで、部分問題を解かずに効率的なローカル更新を可能にする。
• グローバルな固有値特性に依存しない、ローカルなネットワーク構造（例：次数やエッジ数）に依存するペナルティパラメータ$\gamma$を導入する。
• ノイズのある勾配推定値を用いる確率的変種SDPGAを設計し、徐々に小さくなるステップサイズルールのもとで収束を保証する。
• ネストされた反復を必要とせず、単一ループ構造を採用することで、実装を簡素化し、通信コストを低減する。
• アルゴリズムが完全に分散型であることを保証する：エージェントはグローバルなネットワークトポロジーを知る必要がなく、隣接エージェントの情報のみを必要とする。

実験結果

リサーチクエスチョン

• RQ1 グローバルなネットワーク知識を必要とせず、合成凸コアリジョン最適化において高速な収束を達成できる分散アルゴリズムを設計できるか？
• RQ2 線形化ADMMに基づく分散型近接勾配法の収束速度は、イテレーション回数およびネットワークトポロジーに関してどのようにスケーリングされるか？
• RQ3 ノイズのある勾配推定値しか利用できない状況において、アルゴリズムの確率的変種はどのような性能を示すか？
• RQ4 ネットワークの接続性（例：サークル、スモールワールド、完全グラフ）は、分散アルゴリズムの収束速度にどのように影響するか？
• RQ5 通信ラウンド数を最小限に抑えつつ、ローカル計算と通信によるプライバシー保護を維持しながら、高速な収束を維持できるか？

主な発見

• DPGAは、決定論的設定下で、サブ最適性およびコアリジョン違反の両方において、$\mathcal{O}(1/t)$のエルゴディック収束速度を達成する。
• SDPGAは、ノイズのある勾配推定値の下でも、サブ最適性およびコアリジョン違反の両方において、$\mathcal{O}(1/\sqrt{t})$のエルゴディック収束速度を達成する。
• アルゴリズムは1イテレーションあたり1回の通信ラウンドのみを要するため、ADMM（2ラウンド）やSADMM（4ラウンド）よりも通信効率が良い。
• 実験結果から、ネットワークの接続性が向上（例：サークルからスモールワールドや完全グラフに）するにつれて、特にコアリジョン違反の観点で収束速度が向上することが示された。
• 理論的収束速度が$\mathcal{O}(1/\sqrt{t})$であるにもかかわらず、SDPGAは実際には期待よりも優れた性能を示しており、実用的には上限がタイトでない可能性を示唆している。
• 本手法は、$\mathcal{O}(\epsilon^{-1})$イテレーションで$\epsilon$-最適かつ$\epsilon$-妥当な解を計算でき、ノード1つあたりの通信総数も$\mathcal{O}(\epsilon^{-1})$に抑えられる。このため、大規模ネットワークにおいてもスケーラブルで実用的である。