[論文レビュー] Distributed Optimization Over Dependent Random Networks

Adel Aghajan, Behrouz Touri|arXiv (Cornell University)|Oct 5, 2020

Stochastic Gradient Optimization Techniques被引用数 4

ひとこと要約

本稿は、重み行列がほとんど surely 行確率的であり、期待値において列確率的である依存的なランダムネットワーク上で、平均化に基づく分散最適化のほとんど確実な収束を確立する。主な貢献は、従来の研究を拡張する一般化された収束結果であり、ネットワーク実現の依存性を許容し、リンク障害に対してもロバストに動作する。さらに、ランダムネットワークにおける収束速度の分析に新たなツールを提供する。

ABSTRACT

We study the averaging-based distributed optimization solvers over random networks. We show a general result on the convergence of such schemes using weight-matrices that are row-stochastic almost surely and column-stochastic in expectation for a broad class of dependent weight-matrix sequences. In addition to implying many of the previously known results on this domain, our work shows the robustness of distributed optimization results to link-failure. Also, it provides a new tool for synthesizing distributed optimization algorithms. {To prove our main theorem, we establish new results on the rate of convergence analysis of averaging dynamics over (dependent) random networks. These secondary results, along with the required martingale-type results to establish them, might be of interest to broader research endeavors in distributed computation over random networks.

研究の動機と目的

• ネットワークリンクが時間とともに故障または変化する可能性がある、時間変動的かつ依存的なランダムネットワーク上での分散最適化アルゴリズムの収束を確立すること。
• 重み行列に対するi.i.d.仮定を緩和し、ネットワークトポロジーにおける時間的依存性を許容することで、既存の結果を一般化すること。
• リンク障害や非i.i.d.なネットワークダイナミクスに対しても有効な、分散最適化のロバストなフレームワークを提供すること。
• 依存的なランダムネットワークにおける平均化ダイナミクスの収束速度分析のための新たな分析的手法を開発すること。
• より弱い確率的仮定の下で、分散平均化および最適化に関する先行研究を統一的かつ拡張的に扱う理論的枠組みを構築すること。

提案手法

• 著者たちは、依存的な重み系列を扱うために、新しいマーチングル型アプローチを用いてランダムネットワーク上の分散平均化ダイナミクスを分析する。
• ネットワーク直径の新しい測度である diam(A) を導入し、これは重み行列 A の各行の絶対差の半分の和の最大値として定義される。
• 収束解析は、行確率的性質とネットワーク直径に基づいて、任意の2人のエージェント間の状態の最大ノルム差（不一致度 d(x)）をバインドすることに依存する。
• 重要な技術的ツールとして、帰納法と条件付き期待値のバインドを用いて証明された、確率変数の積を含む再帰的期待値不等式が用いられる。
• 状態遷移を平均化成分と勾配降下成分に分解することで、任意の制御入力を含むシステムへとこの手法を拡張可能である。
• 期待値における列確率的性質が、個々の行列が双方向確率的でなくても、期待状態が平均に収束することを保証するという事実を証明で活用する。

実験結果

リサーチクエスチョン

• RQ1 ネットワークトポロジーがランダムかつ時間的に依存する場合、平均化に基づく分散最適化はほとんど確実に収束するか？
• RQ2 重み行列がほとんど surely 行確率的で、期待値において列確率的である場合（双方向確率的でない場合）、収束結果は成り立つか？
• RQ3 収束速度は、ネットワーク構造および確率的重み行列の依存構造にどのように依存するか？
• RQ4 このフレームワークは、勾配降下ステップなどの任意の制御入力に対しても、分散最適化設定で拡張可能か？
• RQ5 依存的なランダムネットワークにおける収束を研究するために、どのような新たな分析的手法が必要か？また、それらはi.i.d.設定で用いられる手法とどのように異なるか？

主な発見

• 重み行列がほとんど surely 行確率的で、期待値において列確率的である限り、平均化に基づく分散最適化ソルバーは、ほとんど確実にグローバル最適解に収束する。
• 収束結果はリンク障害に対してもロバストであり、重み行列が双方向確率的であるかi.i.d.であるかを要件としない。
• 本稿では、不一致度 d(x) に対する新しいバインドを、ネットワーク直径 diam(A) を用いて確立し、d(Ax) ≤ diam(A) d(x) を示した。
• 依存的なランダムネットワーク上での平均化ダイナミクスのための新しい収束速度解析が開発され、分散計算の広範な応用に役立つ可能性がある。
• 条件付き期待値下での確率変数積に関する重要な不等式を証明し、非i.i.d.な重み系列の解析を可能にした。
• 本フレームワークは、gossip や push-sum アルゴリズムの結果を含む、既存の分散最適化および平均化に関する結果を、共通の理論的枠組みの下で統一的かつ拡張的に扱える。