[論文レビュー] Accelerated Gossip in Networks of Given Dimension using Jacobi Polynomial Iterations

Raphaël Berthier, Francis Bach+1 more|arXiv (Cornell University)|May 22, 2018

Distributed Control Multi-Agent Systems参考文献 19被引用数 4

ひとこと要約

本稿では、ネットワークのスペクトル次元 $d$ をパrameterとして用いることで、スペクトルギャップに依存しない分散平均化のための新規なガッソウアルゴリズムを提案する。ジャコビ多項式反復を用い、グラフのスペクトル測度の多項式近似を活用することで、非漸近的領域においても加速された収束を達成する。グリッドやパーコレーションネットワークにおいて、既存手法を上回る性能を示し、収束速度の理論的保証が $d$ に比例する形で与えられる。

ABSTRACT

Consider a network of agents connected by communication links, where each agent holds a real value. The gossip problem consists in estimating the average of the values diffused in the network in a distributed manner. We develop a method solving the gossip problem that depends only on the spectral dimension of the network, that is, in the communication network set-up, the dimension of the space in which the agents live. This contrasts with previous work that required the spectral gap of the network as a parameter, or suffered from slow mixing. Our method shows an important improvement over existing algorithms in the non-asymptotic regime, i.e., when the values are far from being fully mixed in the network. Our approach stems from a polynomial-based point of view on gossip algorithms, as well as an approximation of the spectral measure of the graphs with a Jacobi measure. We show the power of the approach with simulations on various graphs, and with performance guarantees on graphs of known spectral dimension, such as grids and random percolation bonds. An extension of this work to distributed Laplacian solvers is discussed. As a side result, we also use the polynomial-based point of view to show the convergence of the message passing algorithm for gossip of Moallemi \& Van Roy on regular graphs. The explicit computation of the rate of the convergence shows that message passing has a slow rate of convergence on graphs with small spectral gap.

研究の動機と目的

• スペクトルギャップ $\gamma$ に依存する既存のガッソウアルゴリズムの限界を解決すること。$\gamma$ は大規模ネットワークでは小さく、推定が困難であることがある。
• 実務家にとってより直感的かつアクセスしやすいパrameterであるスペクトル次元 $d$ のみに依存する分散平均化アルゴリズムの開発。
• 従来の手法（シンプルガッソウやメッセージスイーピング）が混合が遅くなる非漸近的領域（$t < 1/\sqrt{\gamma}$）における収束速度の向上。
• グリッドやランダムパーコレーションネットワークなど、スペクトル次元が既知のグラフにおいて、提案手法の収束速度に関する理論的保証の提供。
• 多項式フレームワークを用いて、分散ラプラシアンソルバーへの応用を拡張し、メッセージスイーピングアルゴリズムの収束を分析すること。

提案手法

• 本手法は、ネットワークのスペクトル次元 $d$ に合わせて調整された、時間に依存する重み $a_t$, $b_t$, $c_t$ を用いた2階の再帰関係に基づく。これらの重みはジャコビ多項式から導出される。
• ガッソウ行列 $W$ のスペクトル測度をジャコビ測度で近似することで、スペクトルエッジ付近の固有値を多項式フィルタリングする。
• 再帰は、チェビシェフ多項式の第一種および第二種に基づいて構築された直交多項式 $\tilde{p}_t(\lambda)$ を用いて定義され、収束プロファイルを形状制御する。
• 重み $a_t$, $b_t$, $c_t$ は、$t$ と $d$ を用いた閉形式で明示的に導出され、$d$ のグラフにおける収束最適化を目的としている。
• 収束はスペクトル射影 $\pi_t(\lambda)$ を用いて分析され、$\ell^2$ ノルムにおける誤差は $\|x^t - \bar{\xi}\mathbf{1}\|_2 \leq \|\xi - \bar{\xi}\mathbf{1}\|_2 \cdot \sup_\lambda \left|\pi_t(\lambda)\right|$ で上限が与えられる。
• スペクトルギャップ $\gamma$ に依存しないように、固有値が1に近い密度、特にスペクトル次元 $d$ に着目することで実現する。

実験結果

リサーチクエスチョン

• RQ1 スペクトルギャップ $\gamma$ の知識を必要とせずに、ガッソウアルゴリズムを加速することは可能か？（大規模ネットワークでは $\gamma $ が推定困難であるため。）
• RQ2 非漸近的領域におけるガッソウアルゴリズムの性能は、グラフのスペクトル次元 $d$ にどのように依存するか？
• RQ3 特にジャコビ多項式から導出される多項式反復は、従来のメッセージスイーピングやチェビシェフベースの手法よりも高速な収束を達成できるか？
• RQ4 $d$ 次元グリッドなどのスペクトル次元が既知のグラフにおいて、提案手法の理論的収束速度はどのようになるか？
• RQ5 多項式フレームワークを用いて、正則グラフにおける既存手法（例：メッセージスイーピング）の収束を分析・改善することは可能か？

主な発見

• 提案手法は非漸近的領域で加速された収束を達成し、特に $t < 1/\sqrt{\gamma}$ の場合に顕著に効果的である。この領域では標準的手法が遅延を示す。
• スペクトル次元 $d$ のグラフでは、収束速度が $\left(\frac{(1-\tilde{\gamma})D + \sqrt{((1-\tilde{\gamma})D)^2 - 1}}{D + \sqrt{D^2 - 1}}\right)^t$ で上限が与えられ、$\gamma$ ではなく $d$ に依存することが示された。ここで $D = d/(2\sqrt{d-1})$ である。
• $d$ 次元グリッドやランダムパーコレーションネットワークにおいて、シミュレーションでシンプルガッソウやメッセージスイーピングを上回る性能を示し、特に中程度の $t$ に対して顕著である。
• 本手法により、スペクトルギャップが小さいグラフにおけるメッセージスイーピングの遅い収束が理論的に正当化され、その収束速度が $O(t^{-1})$ であることが示された。
• アルゴリズムの収束は $\gamma$ の不確実性に強く、よりアクセスしやすいパrameterである $d$（スペクトル次元）にのみ依存する。
• 分散ラプラシアンソルバーへの応用拡張について議論され、多項式フレームワークが分散線形代数に広く応用可能である可能性が示唆された。