[論文レビュー] A Distributed Algorithm for Solving a Linear Algebraic Equation

Shaoshuai Mou, Ji Liu+1 more|arXiv (Cornell University)|Mar 3, 2015

Distributed Control Multi-Agent Systems参考文献 35被引用数 8

ひとこと要約

本稿では、m台のエージェントからなるネットワークにおいて、各エージェントが$[A\;b]$の行の部分集合のみを保持し、隣接エージェントとのみ通信する条件下で線形方程式$Ax = b$を解く分散型アルゴリズムを提示する。時間変動する隣接グラフが繰り返し強い連結性を満たす場合、共通の解への指数的収束が保証され、一意解の場合の最悪ケース収束レートの上限が導出される。さらに、$A$および$b$が時間変化する場合の追跡や、最小二乗解の計算への拡張も行われる。

ABSTRACT

A distributed algorithm is described for solving a linear algebraic equation of the form $Ax=b$ assuming the equation has at least one solution. The equation is simultaneously solved by $m$ agents assuming each agent knows only a subset of the rows of the partitioned matrix $(A,b)$, the current estimates of the equation's solution generated by its neighbors, and nothing more. Each agent recursively updates its estimate by utilizing the current estimates generated by each of its neighbors. Neighbor relations are characterized by a time-dependent directed graph $\mathbb{N}(t)$ whose vertices correspond to agents and whose arcs depict neighbor relations. It is shown that for any matrix $A$ for which the equation has a solution and any sequence of "repeatedly jointly strongly connected graphs" $\mathbb{N}(t)$, $t=1,2,\ldots$, the algorithm causes all agents' estimates to converge exponentially fast to the same solution to $Ax=b$. It is also shown that the neighbor graph sequence must actually be repeatedly jointly strongly connected if exponential convergence is to be assured. A worst case convergence rate bound is derived for the case when $Ax=b$ has a unique solution. It is demonstrated that with minor modification, the algorithm can track the solution to $Ax = b$, even if $A$ and $b$ are changing with time, provided the rates of change of $A$ and $b$ are sufficiently small. It is also shown that in the absence of communication delays, exponential convergence to a solution occurs even if the times at which each agent updates its estimates are not synchronized with the update times of its neighbors. A modification of the algorithm is outlined which enables it to obtain a least squares solution to $Ax=b$ in a distributed manner, even if $Ax=b$ does not have a solution.

研究の動機と目的

• 複数のエージェントが、局所的通信と部分的な行情報のみを用いて、線形方程式$Ax = b$を解く分散型アルゴリズムを設計すること。
• 時間変動する有向ネットワークにおけるエージェント間で、共通の解への指数的収束が成立するための必要十分条件を確立すること。
• Aとbが時間とともにゆっくり変化する場合に、解を追跡できるようにアルゴリズムを拡張すること。
• Ax = bに正確な解が存在しない場合に、最小二乗解を計算できるようにアルゴリズムを適合させること。
• 収束速度とスケーラビリティを分析し、特に非同期的および遅延付き通信環境下での性能を評価すること。

提案手法

• 各エージェントは解ベクトルの局所的推定値を維持し、時間変動する有向通信グラフ$\mathbb{N}(t)$を介して隣接エージェントから受信した推定値を用いて更新を行う。
• 更新ルールは、隣接エージェントの推定値の再帰的線形結合であり、すべてのエージェントが$Ax = b$の共通解へ向かって収束するように設計されている。
• アルゴリズムは隣接グラフの構造を活用し、収束を保証するために繰り返し連合的強い連結性を仮定している。
• 最小二乗解の場合は、拡張された状態ベクトル$\bar{x}_i$を用い、$A_i^T A_i$とグラフラプラシアン項を組み合わせた行列の核へ射影する。
• 更新時刻の同期が不要で通信遅延がない条件下でも、弱いグラフ連結性仮定のもとでアルゴリズムが有効であることが示された。
• 更新行列のスペクトル特性と連合連結性パラメータ$\rho$に基づいて、最悪ケースの幾何的収束レートの上限が導出された。

実験結果

リサーチクエスチョン

• RQ1 時間変動する通信グラフ$\mathbb{N}(t)$が、$Ax = b$の解への指数的収束を保証するために必要な十分条件は何か？
• RQ2 収束速度はネットワークトポロジーと行列$A$にどのように依存するか？
• RQ3 Aとbが時間とともにゆっくり変化する場合、アルゴリズムは解を追跡できるか？ その追跡誤差に適用可能な上限は何か？
• RQ4 Ax = bに正確な解が存在しない場合に、アルゴリズムをどのように変更すれば最小二乗解を計算できるか？
• RQ5 通信遅延と非同期更新が収束に与える影響は何か？ 依然として指数的収束を保証できるか？

主な発見

• 解$Ax = b$への指数的収束が成り立つのは、隣接グラフの系列$\mathbb{N}(t)$が繰り返し連合的強く連結である場合に限り、必要十分である。
• 一意解の場合、最悪ケースの幾何的収束レートの上限が導出され、その値は連合連結性パラメータ$\rho$とシステムのスペクトル特性に依存する。
• Aとbがゆっくり変化する場合、アルゴリズムは解を追跡可能であり、追跡誤差はAとbの変化率によって上限づけられる。
• 通信遅延なしの非同期更新でも、アルゴリズムは依然として指数的収束を示す。
• アルゴリズムの修正版により、Ax = bに正確な解が存在しない場合でも、分散的に最小二乗解を計算可能である。
• 収束レートの上限はタイトであり、Aの条件数とネットワークの連結性構造に依存し、$\rho$は連合連結性の強度を定量化する。