[論文レビュー] Network Flows that Solve Least Squares for Linear Equations

Yang Liu, Youcheng Lou+2 more|arXiv (Cornell University)|Aug 13, 2018

Distributed Control Multi-Agent Systems参考文献 25被引用数 6

ひとこと要約

本稿では、固定またはスイッチングなネットワークトポロジーにおいて、徐々に小さくなるか、平方可積分なステップサイズを用いることで、線形方程式における最小二乗問題を解くための、1次元の分散型連続時間ネットワークフローを提案する。各エージェントは局所的な平均化と自身の局所的コスト関数への勾配降下法により状態を更新し、最小二乗解に収束することが保証される。

ABSTRACT

This paper presents a first-order {distributed continuous-time algorithm} for computing the least-squares solution to a linear equation over networks. Given the uniqueness of the solution, with nonintegrable and diminishing step size, convergence results are provided for fixed graphs. The exact rate of convergence is also established for various types of step size choices falling into that category. For the case where non-unique solutions exist, convergence to one such solution is proved for constantly connected switching graphs with square integrable step size, and for uniformly jointly connected switching graphs under the boundedness assumption on system states. Validation of the results and illustration of the impact of step size on the convergence speed are made using a few numerical examples.

研究の動機と目的

• エージェントがグローバルデータに限られたアクセスしか持てない大規模システムにおける最小二乗解の分散計算の課題に取り組む。
• 2次元ソルバーや状態拡張の限界を克服するため、1次元で低コストな代替手法を提案する。
• スイッチングネットワークトポロジー下で、一意または非一意の最小二乗解に対しても収束保証を確立する。
• ステップサイズの選択とシステムパラメータに基づく収束速度の解析的境界を提供する。
• 数値シミュレーションを通じて、アルゴリズムの性能とステップサイズへの感受性を検証する。

提案手法

• 各エージェントが隣接エージェントと局所的平均化を行い、自身の局所的コスト関数の負の勾配に沿って勾配降下を行う連続時間ネットワークフローを提案する。
• 固定グラフにおいて、一意の最小二乗解への収束を保証するために、非可積分かつ徐々に小さくなるステップサイズを用いる。
• 定常的に接続されたスイッチンググラフにおいて、平方可積分なステップサイズを採用し、最小二乗解への収束を達成する。
• 一様に一括接続されたスイッチングネットワークにおいて収束を証明するため、システム状態の有界性仮定を導入する。
• リャプノフ安定性解析とグラフ理論的性質（例えば、一括接続性）を活用し、動的トポロジー下での収束を確立する。
• 各ノードが自身の式しか知らないネットワーキングシステムにアルゴリズムを統合する。

実験結果

リサーチクエスチョン

• RQ1 固定接続性を持つネットワークで、1次元の分散型連続時間アルゴリズムが線形システムの最小二乗解に収束できるか？
• RQ2 ステップサイズの選択が、固定およびスイッチングネットワークの両状況下での収束速度にどのように影響するか？
• RQ3 最小二乗解が非一意である場合、どのようなネットワーク接続条件が収束を保証するか？
• RQ4 常に瞬時の接続性を要件としないスイッチングトポロジー下でも収束を保証できるか？
• RQ5 複数の解が存在する場合、システムが収束する特定の最小二乗解は何か？

主な発見

• 固定で接続されたグラフにおいて、非可積分かつ徐々に小さくなるステップサイズを用いる場合、すべてのエージェントの状態は、一意の最小二乗解に漸近的に収束する。
• 平方可積分なステップサイズを用いることで、定常的に接続されたスイッチンググラフ上でも、最小二乗解への収束が達成される。
• 一様に一括接続されたスイッチンググラフ上では、システム状態が有界である限り、最小二乗解への収束が達成される。
• 収束速度は解析的に境界付けられており、ステップサイズの選択、行列の条件数、およびネットワークサイズに依存する。
• 数値例では、複数の解が存在する場合、初期条件に応じて異なる最小二乗解に収束することが確認された。
• アルゴリズムは、ステップサイズに感受性を示しながらも、良好な性能を示しており、徐々に減少するステップサイズが遅いほど収束が速くなる傾向が観察された。