[論文レビュー] Distributed Averaging via Lifted Markov Chains

Kyomin Jung, Devavrat Shah+1 more|ArXiv.org|Aug 27, 2009

Mobile Ad Hoc Networks参考文献 22被引用数 5

ひとこと要約

本稿では、標準的なメトロポリス・ハスティングスランダムウォークを変換することで、ネットワークにおける分散平均化を高速化する、非可逆なマルコフ連鎖の構成法である「擬似的リフト（pseudo-lifting）」を提案する。グラフの幾何的性質およびダブリング次元の性質を活用することで、この手法はネットワーク径路に比例する最適な混合時間（mixing time）を達成し、特にリングのようなグラフでは可逆連鎖に比べて顕著に優れた性能を発揮する。

ABSTRACT

Motivated by applications of distributed linear estimation, distributed control and distributed optimization, we consider the question of designing linear iterative algorithms for computing the average of numbers in a network. Specifically, our interest is in designing such an algorithm with the fastest rate of convergence given the topological constraints of the network. As the main result of this paper, we design an algorithm with the fastest possible rate of convergence using a non-reversible Markov chain on the given network graph. We construct such a Markov chain by transforming the standard Markov chain, which is obtained using the Metropolis-Hastings method. We call this novel transformation pseudo-lifting. We apply our method to graphs with geometry, or graphs with doubling dimension. Specifically, the convergence time of our algorithm (equivalently, the mixing time of our Markov chain) is proportional to the diameter of the network graph and hence optimal. As a byproduct, our result provides the fastest mixing Markov chain given the network topological constraints, and should naturally find their applications in the context of distributed optimization, estimation and control.

研究の動機と目的

• センサーネットワーク、ピアツーピアシステム、無人機器ネットワークにおける高速でスケーラブルかつ頑健な分散アルゴリズムのニーズに対応すること。
• 特にリングのような幾何的グラフにおいては混合時間が Ω(n²) に比例する可逆マルコフ連鎖の収束遅さを克服すること。
• ネットワークトポロジー制約下で、最も速い収束レートを達成できる線形反復アルゴリズムを設計すること。
• 幾何的性質またはダブリング次元を持つグラフにおいて、混合時間がネットワーク径路の二乗ではなく径路そのものに比例する最適なスケーリングを達成すること。
• 任意の与えられたグラフに対して、最速混合マルコフ連鎖を一般に構築すること。この構築法は分散最適化、推定、制御に応用可能である。

提案手法

• ベースとなる可逆連鎖から非可逆マルコフ連鎖を構築するための新しい変換である「擬似的リフト（pseudo-lifting）」を導入し、リフトされたグラフ構造を用いる。
• リフトされたグラフにおける階層的スターベーストポロジーを用いて、より速い混合を実現するパスを埋め込みつつ、グラフの整合性を維持する。
• 詳細なバランシングと一様な定常分布を保証するため、線形計画法を用いてリフトされた辺に重みを割り当てる、リフトされた遷移行列を構築する。
• 幾何的構造または有界なダブリング次元を持つグラフに、リフト構成法を適用することで、トポロジーの性質を活用した性能向上を実現する。
• リフト連鎖の固有値ギャップが、ベース連鎖の混合度（conductance）および遷移確率の関数によって下界で抑えられることを証明し、混合の改善を保証する。
• 固有値ギャップと混合度の min-max 特性を用いて、リフト連鎖の性能をベースとなる可逆連鎖と比較する。

実験結果

リサーチクエスチョン

• RQ1 与えられたネットワークグラフ上で、標準的なメトロポリス・ハスティングス可逆連鎖よりも速い混合を達成できる非可逆マルコフ連鎖を構築できるか？
• RQ2 幾何的またはダブリング次元を持つグラフにおいて、最速のマルコフ連鎖の混合時間は、径路の二乗ではなく径路そのものに比例するか？
• RQ3 グラフ整合性を維持しつつ、分散平均化において最適な収束速度を達成できるリフトベースの手法を設計できるか？
• RQ4 ノード障害が発生する状況下において、リフトされたマルコフ連鎖の性能と頑健性のトレードオフは何か？
• RQ5 擬似的リフトフレームワークを、故障耐性を向上させるために拡張子ベースのトポロジーを用いて一般化できるか？ その場合、収束速度を犠牲にせずに実現可能か？

主な発見

• 提案された擬似的リフト法により、幾何的性質またはダブリング次元を持つグラフに対して、混合時間がネットワーク径路に比例する非可逆マルコフ連鎖が構築可能であり、最適性を達成する。
• リンググラフにおいて、可逆連鎖の O(n² log n) であった混合時間は、本手法により O(n) に短縮され、Ω(n) の理論的下界に一致する。
• リフト連鎖の固有値ギャップは、ベース連鎖の固有値ギャップの定数倍によって下界で抑えられ、収束の高速化を保証する。
• リフト連鎖のサイズは O*(|E|/Φ(P)) であり、Φ(P) はベース連鎖の混合度を表す。これは、辺の拡張性に優れた効率的な構築を示している。
• トポロジー制約下で、任意の与えられたグラフに対して最速混合マルコフ連鎖を構築可能であり、分散最適化、推定、制御への応用が可能である。
• 構築法はトポロジー構造に対して頑健である：ダブリング次元を持つグラフに適用した場合でも、混合時間は依然として径路に比例し、スケーラビリティが確認される。