[論文レビュー] The Benefit of Being Flexible in Distributed Computation

Linqi Song, Sundara Rajan Srinivasavaradhan+1 more|arXiv (Cornell University)|May 23, 2017

Distributed systems and fault tolerance被引用数 3

ひとこと要約

この論文は、ランダムなデータ配置を持つ分散システムにおいて、ノードに計算関数を割り当てる柔軟性があることで、通信コストを著しく削減できることを示している。データ観測確率が臨界閾値を超えると、必要なデータをすでに保持しているノードに関数を戦略的に割り当てることで、データシャッフルを完全に排除でき、高カバレッジ領域ではほぼゼロ通信を達成できる。

ABSTRACT

In wireless distributed computing, networked nodes perform intermediate computations over data placed in their memory and exchange these intermediate values to calculate function values. In this paper we consider an asymmetric setting where each node has access to a random subset of the data, i.e., we cannot control the data placement. The paper makes a simple point: we can realize significant benefits if we are allowed to be "flexible", and decide which node computes which function, in our system. We make this argument in the case where each function depends on only two of the data messages, as is the case in similarity searches. We establish a percolation in the behavior of the system, where, depending on the amount of observed data, by being flexible, we may need no communication at all.

研究の動機と目的

• ランダムなデータ配置下における分散コンピューティングの通信コストのトレードオフを調査すること。
• 固定割り当てと比較して、ノードへの関数の柔軟な割り当てが通信コストを低減できるかどうかを分析すること。
• データの可用性に起因してデータシャッフルが不要になる条件を同定すること。
• 特に非対称な関数-データ関係において、関数割り当ての柔軟性が通信削減に与える利益を定量化すること。

提案手法

• 各ノードがK個のデータメッセージのランダム部分集合を保持するmノードからなる分散コンピューティングシステムをモデル化する。
• 関数-データ依存関係を、ノードが特定のデータメッセージを保持する確率がpであるようなランダムな二部グラフB(m, n, p)として表現する。
• 固定関数割り当て（関数が事前に割り当てられる）と柔軟関数割り当て（関数がデータを保持するノードに割り当てられる）の2つの方式における通信コストを分析する。
• 確率的境界（例：A.M-G.M、チェルノフ不等式）とパーコレーション理論を用いて、通信が不要になる閾値を導出する。
• 非符号化および符号化伝送方式の両方を評価し、必要な伝送回数に注目する。
• 柔軟な割り当てによりデータシャッフルを排除できる閾値確率pth = 1 − (log K / K)^{1/C} を導出する。

実験結果

リサーチクエスチョン

• RQ1 ランダムなデータ配置下で、分散関数計算における最小通信コストは何か？
• RQ2 固定割り当てと比較して、ノードへの関数の柔軟な割り当ては通信コストにどのように影響するか？
• RQ3 どのデータ観測確率で、システムが顕著な通信を必要とする状態から通信不要の状態に移行するか？
• RQ4 ノードがローカルデータに基づいて計算すべき関数を選べる場合、符号化または非符号化伝送をゼロに減らすことができるか？
• RQ5 関数依存構造（例：各関数が2つのデータメッセージに依存する）は、通信効率にどのような影響を与えるか？

主な発見

• データ観測確率pが閾値pth = 1 − (log K / K)^{1/C} を超えると、柔軟な関数割り当てによりデータシャッフルを完全に排除でき、通信量はゼロになる。
• 固定関数割り当てでは、pが閾値未満であっても符号化を用いても通信コストはΘ(K)のままであり、符号化による利点がないことが示された。
• 柔軟な割り当てでは、p > 1 − o(1) で通信コストが確率1でゼロに低下し、特にp > 1 − log K / K の場合に顕著である。
• 非符号化伝送では、期待される伝送回数はK(2 − 2p + p²)であり、pが高くなると著しく低下する。
• 固定割り当てがΘ(K)回の伝送を要する領域p ∈ (log K / n)^{ω(1)} から1 − log K / K において、柔軟な割り当ての利点が最も顕著に現れる。
• 閾値pth = 1 − (log K / K)^{1/C} は、確率的不等式とパーコレーション解析を用いて導出され、システム動作に急激な遷移が生じることを示している。