[論文レビュー] Communication Lower Bounds for Distributed-Memory Computations

Michele Scquizzato, Francesco Silvestri|arXiv (Cornell University)|Jul 6, 2013

Stochastic Gradient Optimization Techniques参考文献 30被引用数 8

ひとこと要約

本稿は、従来の研究よりも弱い仮定に基づき、分散メモリ計算の根本的問題—行列乗算、ステンシル計算、ソーティング、FFT—における新たな通信下界を確立している。バランスの取れたワークロード分配や固定された入力分布、局所メモリの上限といった制約を緩和することで、現実的な条件下における並列アルゴリズムの本質的通信コストをより鋭く明らかにする、よりタイトで広く適用可能な下界を導出している。

ABSTRACT

We give lower bounds on the communication complexity required to solve several computational problems in a distributed-memory parallel machine, namely standard matrix multiplication, stencil computations, comparison sorting, and the Fast Fourier Transform. We revisit the assumptions under which preceding results were derived and provide new lower bounds which use much weaker and appropriate hypotheses. Our bounds rely on a mild assumption on work distribution, and strengthen previous results which require either the computation to be balanced among the processors, or specific initial distributions of the input data, or an upper bound on the size of processors' local memories.

研究の動機と目的

• バランスの取れたワークロード分配や外部入力メモリといった制限的な仮定に依存する従来の通信下界の限界を是正すること。
• より弱く現実的である仮定を用いることで、実世界の分散メモリシステムに広く適用可能な下界を構築すること。
• 入力の複製や再計算が並列アルゴリズムにおける通信複雑度に顕著に影響を与えるかどうかを明確にすること。
• BSP、LogP、MapReduceなどのモデルにおける通信効率の良いアルゴリズム設計の理論的基盤を強化すること。

提案手法

• pプロセッサ、無制限のプライベートメモリ、メッセージパス通信を特徴とする、分散メモリシステムをモデル化するバルク同期並列（BSP）モデル内で問題を形式化すること。
• 完全な負荷バランスを要件としないで、各プロセッサがO(W/p)の演算を実行するというやや弱いワークロード分配仮定を導入すること。
• 入力/出力ノードの分布とDAG（例：FFTのDAG）におけるメッセージパスを基にした新たな議論を用いて、入力の複製や外部メモリの仮定なしに下界を導出すること。
• Bilardiら[9]の手法を応用し、出力ノードの分布と再計算禁止の制約に基づいて通信複雑度を束縛すること。
• FFTのDAGにおいて背理法と巡回シフトの議論を用いて、再計算を禁止する条件下で少なくともW/(8 log W)のメッセージが必要であることを証明すること。
• 出力分布の最悪ケースを考慮し、プロセッサの役割を入れ替えることで一般化を図り、最終的な下界Ω(n log n / (p log(n/p)))を導出すること。

実験結果

リサーチクエスチョン

• RQ1 プロセッサ間でのワークロード分配がバランスしていると仮定しないで、通信下界を導出できるか？
• RQ2 入力データが均等に分配されておらず、外部メモリに格納されていない場合でも、従来の下界が有効に保たれるか？
• RQ3 中間結果の制限された再計算を許容することで、通信複雑度をどの程度低減できるか？
• RQ4 分散メモリモデルにおけるタイトな通信下界を導出する際に、再計算禁止の仮定は必須か？
• RQ5 同様の下界技術を、大幅な修正なしにMapReduceやLogPのようなモデルへ一般化できるか？

主な発見

• 本稿は、pプロセッサ上でFFT計算に対してΩ(n log n / (p log(n/p)))の通信下界を確立しており、やや弱い仮定のもとで有効である。
• 入力データが初期に複製されていなくても、ワークロードが完全にバランスしていない場合でもこの下界が成立し、従来の結果よりも広く適用可能である。
• W = O(n^ε log n)（任意のε ∈ (0,1)）のとき下界はタイトであり、再帰をサブプロブレムサイズΘ(W / log W)で停止させる再帰的アルゴリズムによって達成可能である。
• 再計算が禁止されている限り、非バランスな計算だけでは通信コストを顕著に低減できないことが分析で示された。
• BSPに類似したモデル、たとえばLogP や MapReduce に対しても結果は有効であり、広範な適用可能性を示している。
• 本研究は、入力の複製や外部メモリの仮定が、意味のある下界を導出するために必要ではないことを明らかにした。これは、従来のモデル化の選択を疑問視するものである。