[論文レビュー] Fast Distributed Algorithms for Computing Separable Functions

Damon Mosk-Aoyama, Devavrat Shah|ArXiv.org|Apr 8, 2005

Neural Networks and Applications被引用数 4

ひとこと要約

本稿では、指数型確率変数に基づく最小計算サブルーチンを用いて、個々のノード値の和として表現可能な分離可能な関数を計算する、新しい確率的分散アルゴリズムを提示する。ゴスピングに基づく情報拡散メカニズムを活用することで、グリッドのようなグラフにおいて、反復平均化よりも高速に収束する。d次元グリッドでは実行時間がO(dn^{1/d} log²n)にスケーリングされ、既知の反復的手法よりも実行時間の平方根程度の要因で優れている。

ABSTRACT

The problem of computing functions of values at the nodes in a network in a totally distributed manner, where nodes do not have unique identities and make decisions based only on local information, has applications in sensor, peer-to-peer, and ad-hoc networks. The task of computing separable functions, which can be written as linear combinations of functions of individual variables, is studied in this context. Known iterative algorithms for averaging can be used to compute the normalized values of such functions, but these algorithms do not extend in general to the computation of the actual values of separable functions. The main contribution of this paper is the design of a distributed randomized algorithm for computing separable functions. The running time of the algorithm is shown to depend on the running time of a minimum computation algorithm used as a subroutine. Using a randomized gossip mechanism for minimum computation as the subroutine yields a complete totally distributed algorithm for computing separable functions. For a class of graphs with small spectral gap, such as grid graphs, the time used by the algorithm to compute averages is of a smaller order than the time required by a known iterative averaging scheme.

研究の動機と目的

• ノードが固有の識別子を持たず、隣接ノードの局所的知識しか持たないネットワークにおいて、分離可能な関数を完全に分散的に計算するアルゴリズムを設計すること。
• 既存の反復平均化アルゴリズムの制限を克服すること。特に、正規化なしでは分離可能な関数の実際の値を計算できない点。
• 順序や重複に依存しない統計量、特に最小値の性質を活用して、分散計算の実行時間を短縮すること。
• 情報拡散時間の導出に導通率に基づく境界を用いて、アルゴリズムの性能を分析・最適化すること。
• スペクトルギャップが小さいグラフ（例えばグリッドグラフ）において、既知の反復スキームよりも著しく高速に収束することを示すこと。

提案手法

• 分離可能な関数の計算問題を、各ノードが1つの値を持つ集合の最小値を計算する問題に還元する。その際、指数型確率変数の性質を活用する。
• 各ノードが指数型確率変数を生成し、自身の値とその確率変数の最小値を計算することで、順序や重複に依存しない集約が可能になる。
• ランダムなゴスピングメカニズムをサブルーチンとして用い、これらの最小値をネットワーク全体に拡散させ、すべてのノードが最終的にグローバル最小値を学習することを保証する。
• 全体のアルゴリズムの実行時間は、ゴスピングサブルーチンの情報拡散時間に上限がかかる。この時間は、通信選択を支配する確率的行列の導通率に依存する。
• スペクトルグラフ理論、特に遷移行列Pの導通率Φ(P)を用いて、(ε, δ)-計算時間の上界を導出する。
• 特定のグラフクラス（例えばd次元グリッド）に対しては、アルゴリズムの実行時間をn, d, ε, δの関数として明示的に導出する。

実験結果

リサーチクエスチョン

• RQ1 完全に分散化されたアルゴリズムは、グローバルな調整やノード識別子を必要とせずに、分離可能な関数の実際の値を計算できるか？
• RQ2 集合の値の最小値を、順序に依存しない分散的アプローチで分離可能な関数を計算するための基盤としてどのように利用できるか？
• RQ3 ランダムなゴスピングメカニズムをサブルーチンとして用いた場合、分離可能な関数を計算する分散アルゴリズムの実行時間はどの程度か？
• RQ4 グリッドや拡張グラフのようなグラフにおいて、このアルゴリズムの性能は既知の反復平均化アルゴリズムと比べてどの程度か？
• RQ5 このアルゴリズムは、平均化や線形制約付き凸最適化といった基本的な分散タスクの効率を向上させることができるか？

主な発見

• d次元グリッドグラフでは、本アルゴリズムは(1±ε)の精度と1−δ以上の確率で、O(ε⁻²(1+log δ⁻¹)(log n + log δ⁻¹)dn^{1/d})の時間で平均値を計算する。
• 固定されたdおよびδ=1/nに対して、実行時間はO(dn^{1/d} log²n)にスケーリングされ、反復平均化アルゴリズムが要するΩ(n²/d log n)時間よりも漸近的に高速である。
• アルゴリズムの性能は通信行列の導通率に依存し、1/Φ(P)に比例する実行時間に達する。これは、確率的行列に基づく反復スキームの下界と一致する。
• スペクトルギャップが導通率の二乗に比例するグラフにおいて、本アルゴリズムは既知の反復平均化手法を実行時間の平方根程度の要因で上回る。
• 順序や重複に依存しない情報拡散ダイナミクスのおかげで、パス、リング、グリッドなどのスペクトルギャップが小さいグラフにおいて、分離可能な関数の効率的分散計算が可能になる。
• 和算をコアサブルーチンとして用いることで、本フレームワークは、線形制約付きの近似凸最小化や、インターネットにおけるパケットマーキングといった他の分散タスクへも拡張可能である。