[論文レビュー] A Distributed Algorithm for Least Square Solutions of Linear Equations

Xuan Wang, Jingqiu Zhou+2 more|arXiv (Cornell University)|Sep 28, 2017

Distributed Control Multi-Agent Systems参考文献 36被引用数 11

ひとこと要約

本稿では、各エージェントが方程式の一部しか保持せず、隣接エージェントとのみ通信する多エージェントネットワークに対して、線形方程式系の正確な最小二乗解を計算する分散型離散時間アルゴリズムを提案する。このアルゴリズムは、固定されたネットワークトポロジーを用い、新しい行列重み付き一様化フレームワークを活用することで、小さなステップサイズや時間変動するステップサイズを必要とせず、グローバルな最小二乗解への指数的収束を保証する。

ABSTRACT

A distributed discrete-time algorithm is proposed for multi-agent networks to achieve a common least squares solution of a group of linear equations, in which each agent only knows some of the equations and is only able to receive information from its nearby neighbors. For fixed, connected, and undirected networks, the proposed discrete-time algorithm results in each agents solution estimate to converging exponentially fast to the same least squares solution. Moreover, the convergence does not require careful choices of time-varying small step sizes.

研究の動機と目的

• グローバルな線形方程式系の正確な最小二乗解を、ネットワーク内のエージェントが協調的に計算できる分散型アルゴリズムの開発を目的とする。
• 既存手法で一般的に用いられる時間変動または小さなステップサイズに依存せずに、解への指数的収束を保証すること。
• 各エージェントが局所的な情報と隣接エージェントとの通信のみを用いることで、スケーラビリティとロバストネスを維持すること。
• 従来の一様化ベースの手法が正確な解に到達できない、あるいはパrameterの慎重なチューニングを要するという限界を克服すること。
• 過剰決定系に広く応用可能な分散アルゴリズムの適用範囲を拡大すること。これは、センサーネットワークや信号処理などの工学的応用で一般的に現れる。

提案手法

• 各エージェントが解の推定値を表す状態ベクトルを維持する、行列重み付き一様化フレームワークを用いる。
• 各エージェントは、自らの式に基づく局所的勾配降下ステップと、隣接エージェントとの推定値を一致させるための一致項を用いて、状態を更新する。
• 更新則には、固定された定数ステップサイズと、最小二乗解への収束を保証する行列重み付きラプラシアンを組み込む。
• 収束解析は、変換されたシステム行列 Q に依存し、その固有値特性を分析することで指数的安定性を証明する。
• 重要な要素として、一致項における対角行列（κi = 1/di）を用い、情報交換のバランスを保証する。
• 理論的証明により、システム行列 Q の固有値 1 が幾何的および代数的重複度が 1 であることが示され、指数的収束が保証される。

実験結果

リサーチクエスチョン

• RQ1 時間変動または小さなステップサイズを必要とせず、過剰決定線形系に対して分散型アルゴリズムが正確な最小二乗解に到達可能か？
• RQ2 固定された、無向で連結なネットワーク内において、エージェントが局所的および隣接エージェントの情報のみを用いて、どのように指数的速さで共通の最小二乗解に収束できるか？
• RQ3 ネットワークの構造的性質と更新則が、収束性と解の正確性を保証するために必要な要件は何か？
• RQ4 分散型最小二乗ソルバーにおいて、中央集権的コーディネータやグローバルパrameterのチューニングを排除することは可能か？
• RQ5 重みの選択（例：逆次数）が、分散アルゴリズムの収束速度と安定性に与える影響は何か？

主な発見

• 提案されたアルゴリズムは、任意の固定された、連結で無向のネットワークトポロジーにおいて、正確な最小二乗解への指数的収束を達成する。
• 任意の定数ステップサイズ c ≥ 0 および任意の正のスカラー c̄ に対して収束が保証され、時間変動または小さなステップサイズの必要性がなくなる。
• 方程式が過剰決定であっても、すべてのエージェントの状態推定値が同じグローバル最小二乗解に収束することを保証する。
• 理論的解析により、システム行列 Q が固有値 1 を単純固有値（幾何的および代数的重複度が 1）として持つことが証明され、指数的安定性が保証される。
• 各エージェントが自らの式と即時隣接エージェントからの情報のみを用いるため、スケーラブルでロバストである。グローバルな調整は不要である。
• 数値シミュレーションにより理論的収束速度が確認され、さまざまなネットワーク構成においてアルゴリズムの性能が妥当性を確認された。