[論文レビュー] Distributed Least-Squares Iterative Methods in Networks: A Survey

Lei Shi, Liang Zhao+4 more|arXiv (Cornell University)|Jun 21, 2017

Sparse and Compressive Sensing Techniques参考文献 28被引用数 6

ひとこと要約

本調査では、メッシュネットワークにおける大規模ネットワーク向け分散最小二乗反復手法について包括的な分析を提示している。D-RLS、共役勾配、およびコンSENSUSベースの戦略を含む反復アルゴリズムに焦点を当て、通信コストと完了までの時間について評価している。本調査は、分散サイバーフィジカルシステムにおけるこれらの手法の最初の体系的比較を提供している。

ABSTRACT

Many science and engineering applications involve solving a linear least-squares system formed from some field measurements. In the distributed cyber-physical systems (CPS), often each sensor node used for measurement only knows partial independent rows of the least-squares system. To compute the least-squares solution they need to gather all these measurement at a centralized location and then compute the solution. These data collection and computation are inefficient because of bandwidth and time constraints and sometimes are infeasible because of data privacy concerns. Thus distributed computations are strongly preferred or demanded in many of the real world applications e.g.: smart-grid, target tracking etc. To compute least squares for the large sparse system of linear equation iterative methods are natural candidates and there are a lot of studies regarding this, however, most of them are related to the efficiency of centralized/parallel computations while and only a few are explicitly about distributed computation or have the potential to apply in distributed networks. This paper surveys the representative iterative methods from several research communities. Some of them were not originally designed for this need, so we slightly modified them to suit our requirement and maintain the consistency. In this survey, we sketch the skeleton of the algorithm first and then analyze its time-to-completion and communication cost. To our best knowledge, this is the first survey of distributed least-squares in distributed networks.

研究の動機と目的

• 帯域幅、遅延、およびデータプライバシー制約による、大規模サイバーフィジカルシステム（CPS）における集中型最小二乗計算の非効率性と非現実性に対処する。
• RLS、共役勾配、およびコンセンサス／ディフュージョン戦略などの代表的な反復手法を特定し、それらをメッシュネットワーク上で分散計算に適応させる。
• 通信コストと完了までの時間という観点から、これらの分散アルゴリズムの性能を評価する。これは、リアルタイムおよびリソース制限のあるネットワークにとって重要である。
• 分散反復ソルバーを比較するための統一されたフレームワークを提供し、収束速度、通信オーバーヘッド、およびネットワーク障害への耐性のトレードオフを強調する。

提案手法

• 各ノードが局所的なデータブロックを処理し、次なるノードに状態変数を渡すように、ノードを通過する順序的なパスを用いて、Recursive Least-Squares（RLS）アルゴリズムを分散形式（D-RLS）に適応する。
• ハミルトニアンパス走査を用いて、ノード間で解推定値および逆相関行列を順次更新可能にし、1イテレーションあたり1ホップの通信に最小限に抑える。
• 各ノードが行列Aとベクトルbの行のサブセットを保持する分割型線形最小二乗問題としてシステムをモデル化し、全データを集約せずに逐次的にグローバル解を計算する。
• 通信コストを、1サイクルあたり(n + n²)(N−1)と定式化する。ここでnは解の次元、Nはノード数であり、状態ベクトルと共分散行列の送信に基づく。
• 完了までの時間を、1イテレーションあたりノード1つあたり1回の通信ステップを仮定して、(n + n²)(N−1)と評価する。収束は1回のネットワークサイクルで達成される。
• 従来の反復手法（例：共役勾配）とコンセンサスおよびディフュージョンベースの戦略を比較し、分散環境下での局所的通信とグローバルフローディングの違いに焦点を当てる。

実験結果

リサーチクエスチョン

• RQ1 集中型データ収集なしに、大規模分散ネットワークで最小二乗解をどのように効率的に計算できるか？
• RQ2 メッシュネットワークにおけるD-RLS、共役勾配、およびコンセンサスベースのアルゴリズムなどの分散反復手法の通信コストと完了までの時間は何か？
• RQ3 収束速度と通信オーバーヘッドという観点から、分散反復ソルバーの性能特性はどのように比較できるか？
• RQ4 グローバルフローディングを必要とする従来の反復手法と、局所的通信に依存するコンセンサス／ディフュージョン戦略との間にはどのようなトレードオフがあるか？
• RQ5 スマートグリッドのような時間的に重要な応用分野において、これらの分散アルゴリズムはデータ損失に対してどれほど耐性があるか？

主な発見

• D-RLSアルゴリズムは、1回のネットワークサイクルで収束し、通信コストは(n + n²)(N−1)で、nは解の次元、Nはノード数である。
• D-RLSの完了までの時間は(n + n²)(N−1)であり、これはノード間を順次伝搬する状態変数に起因する。
• コンセンサスおよびディフュージョンベースの戦略は、局所的通信に限定されるため、従来の反復手法と比較してネットワーク全体のフローディングを低減する。
• 大規模ネットワークでは、コンセンサスおよびディフュージョン手法は、集中型または逐次的手法よりも収束に多くの反復を要するが、スケーラビリティとフォールトトレランスに優れる。
• 本調査では、データ損失耐性が重要な未解決課題であると特定した。特にスマートグリッドのようなリアルタイムシステムでは、再送信がしばしば非現実的である。
• 本調査は、メッシュネットワークにおける通信コストと完了までの時間という観点から、分散最小二乗反復手法を体系的に比較する最初の包括的調査である。