[論文レビュー] Breaking the Linear-Memory Barrier in MPC: Fast MIS on Trees with Strongly Sublinear Memory

Sebastian Brandt, Manuela Fischer+1 more|arXiv (Cornell University)|Feb 19, 2018

Complexity and Algorithms in Graphs参考文献 37被引用数 8

ひとこと要約

本稿では、木構造上の最大独立集合（MIS）を計算する、新しい低メモリな大量並列計算（MPC）アルゴリズムを提示する。各マシンが n^ε のメモリしか使用しないという強く部分線形な制約のもとで、O(log³log n) ラウンドの複雑さを達成しており、MPCにおける長年の線形メモリ障壁を打ち破った。この手法は、動的予算割り当てと全対全通信を用いた階層的ツリー根付け技術を活用し、従来の LOCAL や PRAM モデルに比べて指数的かつ顕著な性能向上を実現する。

ABSTRACT

Recently, studying fundamental graph problems in the \emph{Massively Parallel Computation (MPC) framework, inspired by the MapReduce paradigm, has gained a lot of attention. An assumption common to a vast majority of approaches is to allow $\widetildeΩ(n)$ memory per machine, where $n$ is the number of nodes in the graph and $\widetildeΩ$ hides polylogarithmic factors. However, as pointed out by Karloff et al. [SODA'10] and Czumaj et al. [STOC'18], it might be unrealistic for a single machine to have linear or only slightly sublinear memory. In this paper, we thus study a more practical variant of the MPC model which only requires substantially sublinear or even subpolynomial memory per machine. In contrast to the linear-memory MPC model and also to streaming algorithms, in this low-memory MPC setting, a single machine will only see a small number of nodes in the graph. We introduce a new and strikingly simple technique to cope with this imposed locality. In particular, we show that the Maximal Independent Set (MIS) problem can be solved efficiently, that is, in $O(\log^3 \log n)$ rounds, when the input graph is a tree. This constitutes an almost exponential speed-up over the low-memory MPC algorithm in $O(\sqrt{\log n})$-algorithm in a concurrent work by Ghaffari and Uitto [SODA'19] and substantially reduces the local memory from $\widetildeΩ(n)$ required by the recent $O(\log \log n)$-round MIS algorithm of Ghaffari et al. [PODC'18] to $n^α$ for any $α>0$, without incurring a significant loss in the round complexity. Moreover, it demonstrates how to make use of the all-to-all communication in the MPC model to almost exponentially improve on the corresponding bound in the $\mathsf{LOCAL}$ and $\mathsf{PRAM}$ models by Lenzen and Wattenhofer [PODC'11].

研究の動機と目的

• 大規模なグラフ処理において、標準的なMPCモデルが各マシンに Ω(n) のメモリを要求するという現実的でない制約を解消すること。
• MIS のような基本的なグラフ問題が、各マシンの強力な部分線形メモリ制約のもとでも効率的に解けるかどうかを調査すること。
• MPCモデルの全対全通信が、従来のモデル（LOCAL や PRAM）と比較して指数的スピードアップを達成できるように活用できるかを示すこと。
• 部分線形メモリ（n^ε）が木構造上の高速MIS計算に十分であることを示し、低メモリMPCの新しい理論的基盤を確立すること。

提案手法

• 任意の ε > 0 に対して各マシンが n^ε のメモリしか保持しない、新しい低メモリMPCモデルを導入し、実用的なスケーラビリティを実現する。
• 各フェーズでエッジ追加の予算を動的に調整することで、メモリ制約を満たす階層的ツリー根付けアルゴリズムを設計する。
• B_{i+1} = B_i · n_i / n_{i+1} という予算化メカニズムを採用し、各フェーズにおける総エッジ追加数が n·d³ で抑えられることを保証する。
• 全対全通信を用いてネットワーク全体に効率的に情報を伝播させ、限られたローカルビューにもかかわらず迅速な収束を実現する。
• 根の色に基づくマーキング手順を適用し、ツリー根付け後に連結成分を特定する。
• 重複するエッジメッセージを処理するシャッフル機構に依存することで、通信中にメモリ制約に違反しないようにする。

実験結果

リサーチクエスチョン

• RQ1 MPCモデルにおいて、各マシンの部分線形メモリ制約のもとで、最大独立集合（MIS）問題を解くことは可能か？
• RQ2 強力な部分線形メモリ制約のもとで、木構造上のMISに近似的に定数ラウンドの複雑さを達成することは可能か？
• RQ3 MPCにおける全対全通信は、低メモリ環境下でのローカル計算の制限を克服するためにどのように活用できるか？
• RQ4 MPCにおける線形メモリ障壁を打ち破ることで、基本的なグラフ問題を効率的に解くための新たな可能性が開かれるか？

主な発見

• 本稿では、各マシンが n^ε のメモリしか使用しない条件下で、木構造上のMISに対して O(log³log n) のラウンド複雑さを達成し、従来の低メモリMPCアルゴリズムに比べてほぼ指数的改善を実現した。
• アルゴリズムにより、ローカルメモリの必要量を Ω(n) から任意の ε > 0 に対して n^ε に削減したが、ラウンド複雑さに影響を与えることなく実現した。
• 本手法は、MPCモデルの全対全通信を活用することで、LOCAL や PRAM モデルが Ω(log log n) ラウンドを要するのに対し、指数的スピードアップを達成できることを示した。
• 動的に追加される仮想エッジに起因するメモリオーバーヘッドは、制限内に保たれ、n^ε 制約に違反しない。各フェーズにおけるそのようなエッジ総数は O(n·d³) である。
• 連結成分ごとに同じツリー根付けおよび色分け手法を適用することで、本手法は森（森林）に対しても一般化可能である。
• 本フレームワークは、最大マッチングや (Δ+1)-色分けといった他の基本的グラフ問題を、低メモリMPC制約のもとで解くための新たな研究方向性を開く。