[論文レビュー] Decentralized Consensus Algorithm with Delayed and Stochastic Gradients

Benjamin Sirb, Xiaojing Ye|arXiv (Cornell University)|Apr 19, 2016

Distributed Control Multi-Agent Systems参考文献 47被引用数 9

ひとこと要約

この論文は、同期不能なネットワークにおける分散最適化のため、遅延および確率的勾配を用いた分散型コンSENSUSアルゴリズムを提案する。期待される遅延が有界でかつステップサイズが減少する条件下で最適解への収束を証明し、目的関数およびコンセンサス誤差の収束速度を確立する。

ABSTRACT

We analyze the convergence of decentralized consensus algorithm with delayed gradient information across the network. The nodes in the network privately hold parts of the objective function and collaboratively solve for the consensus optimal solution of the total objective while they can only communicate with their immediate neighbors. In real-world networks, it is often difficult and sometimes impossible to synchronize the nodes, and therefore they have to use stale gradient information during computations. We show that, as long as the random delays are bounded in expectation and a proper diminishing step size policy is employed, the iterates generated by decentralized gradient descent method converge to a consensual optimal solution. Convergence rates of both objective and consensus are derived. Numerical results on a number of synthetic problems and real-world seismic tomography datasets in decentralized sensor networks are presented to show the performance of the method.

研究の動機と目的

• ノードが同期できないネットワークにおける分散最適化の課題に対処すること。
• ネットワーク全体で勾配更新にランダムな遅延が生じる状況下でも、コンセンサス的な最適解への収束を保証すること。
• イテレーション回数、遅延レベル、ネットワーク構造をパラメータとして、目的関数値およびコンセンサス誤差の収束速度を分析すること。
• 現実的で非同期な設定下において、遅延および確率的勾配を用いた分散型勾配降下法の理論的保証を提供すること。
• 合成問題および実世界の地震トモグラフィー・データセットにおいて、手法の頑健性と性能を示すこと。

提案手法

• ネットワークに分散された凸関数の和を最小化する形で分散型コンセンサス問題を定式化する。
• 各ノードの局所的目的関数をランダムノイズを伴う確率的関数としてモデル化し、不偏な確率的勾配を計算に用いる。
• 同期が取れないことによる遅延勾配情報を組み込んだ分散型勾配降下アルゴリズムを導入する。
• ステップサイズを減少型に設定することで、古くなった勾配更新に対しても収束を保証する。
• 期待誤差のバインドと収束速度の導出のため、類似リャプノフ解析を用いる。
• ヤングの不等式および不偏な確率的勾配の性質を用いて、遅延およびノイズのある勾配に起因する誤差項を制御する。

実験結果

リサーチクエスチョン

• RQ1 非同期ネットワークにおいて、遅延および確率的勾配を用いた分散型勾配降下法は依然として最適解へ収束するか？
• RQ2 期待される遅延が有界である条件下で、目的関数値およびコンセンサス誤差の収束速度はどの程度達成可能か？
• RQ3 ネットワーク構造および遅延レベルは、分散型アルゴリズムの収束挙動にどのように影響するか？
• RQ4 勾配情報が古く、ノイズを含む状況下で収束を保証するためのステップサイズ方針は何か？
• RQ5 地震トモグラフィーのような高次元でノイズの多い実世界のデータセットにおいて、この手法はどのように性能を発揮するか？

主な発見

• 期待される遅延が有界でかつステップサイズが減少型である限り、アルゴリズムはほとんど確実に最適解へ収束する。
• 与えられた仮定の下で、目的関数の収束速度は $ O(1/ au) $ である。ここで $ \tau $ はイテレーション回数を表す。
• コンセンサス誤差は $ O(1/\sqrt{\tau}) $ の速度で減少し、ノードが時間とともに合意に達することを示している。
• 理論的解析により、期待される非最適性ギャップ $ \mathbb{E}[f(y(T)) - f(x^*)] $ が、ネットワークサイズ、遅延、ノイズ分散の項によってバインドされる。
• 合成データおよび地震トモグラフィー・データセットにおける数値実験により、アルゴリズムの頑健性および実際の収束挙動が確認された。
• 大きな遅延および確率的ノイズに対しても性能が維持され、実世界の分散ネットワークにおける実用的妥当性が示された。