[論文レビュー] Streaming Balanced Graph Partitioning for Random Graphs

Isabelle Stanton|arXiv (Cornell University)|Dec 5, 2012

Graph Theory and Algorithms参考文献 23被引用数 8

ひとこと要約

本稿は、埋め込まれたk分割を有するランダムグラフにおけるバランスドグラフ分割のストリーミングアルゴリズムを研究する。2つのグリーディストリーミングアルゴリズム—arg maxと比例型—を、有限Pólya urnプロセスへの新しいカップリングを用いて分析し、arg maxバージョンが真の分割を回復することを証明する一方、比例型バージョンは失敗することを示し、先行の実験結果を説明するとともに、ストリーミング制約下での性能に関する理論的限界を確立する。

ABSTRACT

There has been a recent explosion in the size of stored data, partially due to advances in storage technology, and partially due to the growing popularity of cloud-computing and the vast quantities of data generated. This motivates the need for streaming algorithms that can compute approximate solutions without full random access to all of the data. We model the problem of loading a graph onto a distributed cluster as computing an approximately balanced $k$-partitioning of a graph in a streaming fashion with only one pass over the data. We give lower bounds on this problem, showing that no algorithm can obtain an $o(n)$ approximation with a random or adversarial stream ordering. We analyze two variants of a randomized greedy algorithm, one that prefers the $\arg\max$ and one that is proportional, on random graphs with embedded balanced $k$-cuts and are able to theoretically bound the performance of each algorithms - the $\arg\max$ algorithm is able to recover the embedded $k$-cut, while, surprisingly, the proportional variant can not. This matches the experimental results in [25].

研究の動機と目的

• arg maxグリーディアルゴリズムが、確率的アルゴリズムで一般的に用いられる比例型と比べてなぜストリーミンググラフ分割で優れるのかを理解すること。
• ランダムまたは敵対的ストリーム順序において、任意のストリーミングアルゴリズムがバランスドk分割の近似比をo(n)に抑えることはできない理論的下界を確立すること。
• 有限Pólya urnプロセスへの新しい接続を用いて、埋め込まれたバランスドkカットを有するランダムグラフにおけるグリーディストリーミングアルゴリズムの性能を分析すること。
• このストリーミング分割設定において、確率化が性能を劣化させるという実験的観察に理論的根拠を与えること。
• 成功した分割回復に必要な密度およびノイズ条件（エッジ確率pとqの観点から）を特定し、グラフサイズに応じた収束を評価すること。

提案手法

• 頂点とエッジが1回のパスで到着するストリーミングモデルを提案し、各頂点は現在のエッジカウントに基づいてパーティションに割り当てられる。
• 2つのグリーディ変種を導入：arg max（現在のエッジカウントが最大のパーティションに割り当てる）と比例型（現在のエッジカウントに比例する確率で割り当てる）。
• パーティショニングプロセスを有限Pólya urnプロセスとしてモデル化し、パーティション間のエッジ分布ダイナミクスの厳密な解析を可能にする。
• Pólya urnの集中不等式を用いて、パーティションサイズおよびエッジ分布が真の埋め込みkカットからどれほど逸脱するかをバウンディングする。
• 成功した回復のための理論的条件（エッジ密度p > 2 log n / |Ci|）および外部成分間エッジ確率（q < p / (6kl)）を導出する。
• 合成グラフに埋め込まれたkカットを用いて理論的限界を実証的に検証し、理想のパーティショニングとのユークリッド距離を用いて誤差を測定する。

実験結果

リサーチクエスチョン

• RQ1 ランダムまたは敵対的ストリーム順序において、任意のストリーミングアルゴリズムがバランスドk分割の近似比をo(n)に抑えることは可能か？
• RQ2 arg maxグリーディアルゴリズムは埋め込まれたkカットを回復できるが、比例型バージョンは失敗する。両者ともグリーディかつ確率的であるにもかかわらず、その理由は何か？
• RQ3 ストリーミングモデルにおいて、成功した分割回復に必要なエッジ密度（p）および外部成分間エッジ確率（q）の条件は何か？
• RQ4 グリーディアルゴリズムの性能はグラフサイズにどのように依存するか？また、グラフが大きくなるに従って収束は改善するか？
• RQ5 理論的限界は、特にノイズ（q）が理論的閾値を超えた場合に、実験的性能とどの程度一致するか？

主な発見

• ランダムまたは敵対的ストリーム順序において、バランスドk分割の近似比をo(n)に抑えることは、いかなるストリーミングアルゴリズムでも不可能である。
• エッジ密度pが2 log n / |Ci|を超える場合、arg maxグリーディアルゴリズムは高確率で埋め込まれたkカットを回復する。
• 比例型グリーディアルゴリズムは、好都合な条件下ですら真のパーティションを回復できない。これは、真のパーティション構造からの信号を過度に希釈させる過剰な確率化に起因する。
• 理論的分析により、q < p / (6kl) が回復の十分条件であることが示されたが、実験ではこの境界を超えていてもアルゴリズムが依然として有効であることが判明した。
• グラフサイズが増加するにつれ、最適パーティショニングとのユークリッド距離は急速に低下する—51,200頂点のグラフですでに中央誤差が0.04にまで低下するが、理論的境界を超えるqを用いている。
• 収束速度は、定理の楽観的でない境界（q = O((k^2.4 log l)^{-1})）よりも速く、グラフサイズが大きくなるに従って性能が著しく向上する。