[論文レビュー] On Dynamic Breadth-First Search in External-Memory

Ulrich Meyer|ArXiv.org|Feb 20, 2008

Advanced Data Storage Technologies参考文献 15被引用数 8

ひとこと要約

本稿では、スパースな無向グラフにおける動的幅優先探索（BFS）のための、外部記憶モデルにおける最初の非自明な外部記憶アルゴリズムを提示する。ランダム化クラスタリングと適応的アドバンス／ラグ戦略を用い、$ \Theta(n) $ 個の辺の挿入または削除に対して、1回の更新あたりの償備I/Oバウンドを $ O(n/B^{2/3} + \mathrm{sort}(n) \cdot \log B) $ に抑える。この手法は確率的境界と階層的クラスタリングを活用し、高価なランダムI/Oを最小限に抑え、特に大規模データワークロード下で静的BFSの境界を著しく上回る。

ABSTRACT

We provide the first non-trivial result on dynamic breadth-first search (BFS) in external-memory: For general sparse undirected graphs of initially $n$ nodes and O(n) edges and monotone update sequences of either $Θ(n)$ edge insertions or $Θ(n)$ edge deletions, we prove an amortized high-probability bound of $O(n/B^{2/3}+\sort(n)\cdot \log B)$ I/Os per update. In contrast, the currently best approach for static BFS on sparse undirected graphs requires $Ω(n/B^{1/2}+\sort(n))$ I/Os.

研究の動機と目的

• 完全な外部記憶モデルにおける動的グラフアルゴリズムの不足、特にBFSのような基本的グラフ走査の分野を解決すること。
• 外部記憶環境で、$ \Theta(n) $ 個の辺の挿入または削除の単調なシーケンスを効率的に処理できる動的BFSアルゴリズムを設計すること。
• 特に大規模データワークロード下で、外部記憶における静的BFSよりも優れた償備I/Oパフォーマンスを達成すること。
• ランダム化および階層的クラスタリング技術の有効性を検証し、動的グラフ処理における高価なランダムI/Oを低減すること。

提案手法

• 頂点を直径が小さいクラスタにグループ化する階層的クラスタリング方式を導入し、ランダムアクセスのオーバーヘッドを低減する。
• ランダム化されたアドバンス／ラグメカニズムを採用：挿入の場合は、増加するアドバンスステップ $ \alpha_j = 2^j $ を用いて隣接リストを事前に読み込む。削除の場合はラグ戦略を用いる。
• 確率的解析を用いて、高価な更新の回数を制限し、タイプB1（小規模アドバンス）とタイプB2（大規模アドバンス）の更新を区別する。
• 高確率の境界を用いた償備解析を実施し、ボールの不等式を活用して、すべての更新における総I/Oコストを制御する。
• スキャンとソートを主な外部記憶プリミティブとして用い、$ \mathrm{sort}(n) $ が隣接集合のソーティングにおける主要コストとなる。
• しきい値に基づく更新分類を導入し、非構造的I/O（ランダムアクセス）とバルクI/O（スキャン）のバランスを取ることで、総I/O量を最小化する。

実験結果

リサーチクエスチョン

• RQ1 外部記憶における動的BFSアルゴリズムは、スパースグラフにおいて静的BFSよりも優れた償備I/Oパフォーマンスを達成できるか？
• RQ2 単調な更新シーケンス下で、1回の更新あたりのI/Oコストをサブ線形に保てるような動的BFSアルゴリズムを設計することは可能か？
• RQ3 ランダム化と階層的クラスタリングを活用することで、動的グラフ処理における高価なランダムI/Oを低減できるか？
• RQ4 更新シーケンスの構造（挿入対削除）が、外部記憶BFSにおける償備I/Oコストに与える影響は何か？
• RQ5 本アルゴリズムは、I/O特性が異なるフラッシュベースのストレージや混合更新シーケンスに拡張可能か？

主な発見

• 提案された動的BFSアルゴリズムは、$ \Theta(n) $ 個の辺の挿入または削除に対して、1回の更新あたり $ O(n/B^{2/3} + \mathrm{sort}(n) \cdot \log B) $ の償備I/Oバウンドを達成する。
• これは、既存の最良の静的BFSのI/Oバウンドである $ O(n/B^{1/2} + \mathrm{sort}(n)) $ よりも優れており、特に $ B $ が大きい場合に顕著な利点を示す。
• 高確率で、高価な更新回数が制限されることを保証するランダム化戦略を用いることで、効果的な償備が可能になる。
• タイプB2の更新（大規模アドバンス）の回数は、高確率で $ O(n \cdot B / 2^{3j}) $ に抑えられ、全体のI/Oバウンドに寄与する。
• 減損版（辺の削除）は、アドバンスではなくラグメカニズムを用いるが、インクリメンタル版と同様のI/Oバウンドを達成する。
• 混合更新シーケンスでは、償備の喪失によりアルゴリズムのパフォーマンスが著しく低下するため、主な制限要因であることが明らかになった。