[論文レビュー] A Distributed, Asynchronous and Incremental Algorithm for Nonconvex Optimization: An ADMM Based Approach

Mingyi Hong|arXiv (Cornell University)|Dec 18, 2014

Sparse and Compressive Sensing Techniques参考文献 35被引用数 31

ひとこと要約

本稿では、非凸で滑らかでない最適化問題に対して非同期的で分散型かつ逐次的なADMMアルゴリズムを提案し、制限された非同期性のもとで停留解への収束を保証する。これは、非凸性と非同期性の両方を同時に扱えるADMMベースの手法として初めてであり、ステップサイズと遅延の上限が適切に設定されれば収束が保証される。

ABSTRACT

The alternating direction method of multipliers (ADMM) has been popular for solving many signal processing problems, convex or nonconvex. In this paper, we study an asynchronous implementation of the ADMM for solving a nonconvex nonsmooth optimization problem, whose objective is the sum of a number of component functions. The proposed algorithm allows the problem to be solved in a distributed, asynchronous and incremental manner. First, the component functions can be distributed to different computing nodes, who perform the updates asynchronously without coordinating with each other. Two sources of asynchrony are covered by our algorithm: one is caused by the heterogeneity of the computational nodes, and the other arises from unreliable communication links. Second, the algorithm can be viewed as implementing an incremental algorithm where at each step the (possibly delayed) gradients of only a subset of component functions are update d. We show that when certain bounds are put on the level of asynchrony, the proposed algorithm converges to the set of stationary solutions (resp. optimal solutions) for the nonconvex (resp. convex) problem. To the best of our knowledge, the proposed ADMM implementation can tolerate the highest degree of asynchrony, among all known asynchronous variants of the ADMM. Moreover, it is the first ADMM implementation that can deal with nonconvexity and asynchrony at the same time.

研究の動機と目的

• スケーラブルで分散型の環境において、非凸的かつ滑らかでない目的関数を扱える分散最適化アルゴリズムを設計すること。
• 異機種の計算ノードや信頼性の低い通信路に起因する高い非同期性に対しても収束を可能にすること。
• 部分的なコンポonent勾配のみを用いるインクリメンタル更新メカニズムを構築すること、すなわち古くなった情報でさえも使用可能であること。
• ADMMを非凸問題に拡張しつつ、非同期性のもとで収束保証を維持すること。
• 非凸設定における非同期ADMMの収束解析を初めて提供すること。

提案手法

• ノード間で非同期に双対変数とプライム変数の更新が行われる、柔軟なプロキシマルADMMフレームワークを採用する。
• 各ノードは、割り当てられたコンポonent関数の遅延付き勾配を独立して使用して局所変数を更新する。
• 収束の安定化を図るためのプロキシマル項を組み込み、勾配評価における遅延を上限付きで許容する。
• ステップサイズが十分に大きく、ノード間の遅延が上限に制限されている条件下で収束を確立する。
• インクリメンタル更新をサポートし、各イテレーションでコンポonent関数の部分集合のみを更新してもよい（古くなった情報でも可）。
• 解析は最大遅延制約によって非同期性を制限し、非凸問題において停留解の集合への収束を保証する。

実験結果

リサーチクエスチョン

• RQ1 ADMMは、分散型かつ非同期的な環境において非凸最適化問題を扱えるように拡張可能か？
• RQ2 非凸設定における非同期ADMMの収束を保証するためのステップサイズと遅延上限の条件は何か？
• RQ3 収束速度と遅延に対する耐性という観点から、提案手法は同期的および部分的に非同期なADMMの変種と比べてどのように異なるか？
• RQ4 信頼性の低い通信やノードの非均一性により、利用可能な勾配がすべて古くなった場合でも、アルゴリズムは収束を維持できるか？
• RQ5 例えば、1つの遅延ノードと均一な遅延の両方を想定した場合、さまざまなレベルの非同期性が収束性能に与える影響は何か？

主な発見

• 提案手法であるAsync-PADMMは、ステップサイズが十分に大きく、遅延が上限に制限されている場合、非凸問題において停留解の集合への収束を達成する。
• K=10のノードを用いた実験では、T_k=5の条件下で、ADMMと比較して平均190イテレーション（ADMMは525）で収束し、収束速度の優位性を示した。
• 1つのノードが遅延（T_10=10）した場合、Async-PADMMは183イテレーションで収束したが、ADMMは914イテレーションを要し、極端な非同期性に対しても耐性があることが示された。
• 問題次元数（N=1000）とペナルティパラメータ（λ=100）が増加しても、Async-PADMMは325イテレーション未満を維持し、効果的であることが確認された。
• Async-PADMMの収束速度は遅延レベルにほとんど依存せず、ADMMやP-ADMMと比較して、遅延増加に伴う性能の急激な低下を示さない。
• 既知のADMM変種の中で、非同期性に対する耐性が最も高く、大規模で分散型かつリアルタイムな応用に適している。