[論文レビュー] Efficiently Counting Vertex Orbits of All 5-vertex Subgraphs, by EVOKE

Noujan Pashanasangi, C. Seshadhri|arXiv (Cornell University)|Nov 24, 2019

Complex Network Analysis Techniques参考文献 60被引用数 4

ひとこと要約

EVOKEは、多項式方程式を通じて大きな部分グラフのカウントを小さな部分グラフのカウントに関連付ける一般化されたグラフカットフレームワークを活用することで、大規模なグラフにおけるすべての5頂点部分グラフの正確な頂点軌道カウント（VOC）をスケーラブルかつ効率的に計算するアルゴリズムである。この手法は、先行手法に比べて最大数百倍の高速化を達成し、コンmodityハードウェア上で数千万エッジのグラフを1時間未塔で処理可能であり、全部分グラフカウントに対するわずかな定数倍のオーバーヘッドで実現している。

ABSTRACT

Subgraph counting is a fundamental task in network analysis. Typically, algorithmic work is on total counting, where we wish to count the total frequency of a (small) pattern subgraph in a large input data set. But many applications require local counts (also called vertex orbit counts) wherein, for every vertex $v$ of the input graph, one needs the count of the pattern subgraph involving $v$. This provides a rich set of vertex features that can be used in machine learning tasks, especially classification and clustering. But getting local counts is extremely challenging. Even the easier problem of getting total counts has received much research attention. Local counts require algorithms that get much finer grained information, and the sheer output size makes it difficult to design scalable algorithms. We present EVOKE, a scalable algorithm that can determine vertex orbits counts for all 5-vertex pattern subgraphs. In other words, EVOKE exactly determines, for every vertex $v$ of the input graph and every 5-vertex subgraph $H$, the number of copies of $H$ that $v$ participates in. EVOKE can process graphs with tens of millions of edges, within an hour on a commodity machine. EVOKE is typically hundreds of times faster than previous state of the art algorithms, and gets results on datasets beyond the reach of previous methods. Theoretically, we generalize a recent "graph cutting" framework to get vertex orbit counts. This framework generate a collection of polynomial equations relating vertex orbit counts of larger subgraphs to those of smaller subgraphs. EVOKE carefully exploits the structure among these equations to rapidly count. We prove and empirically validate that EVOKE only has a small constant factor overhead over the best (total) 5-vertex subgraph counter.

研究の動機と目的

• 大規模グラフにおけるすべての5頂点部分グラフの正確な頂点軌道カウント（VOC）を計算する課題に取り組むこと。これは機械学習およびネットワーク解析において極めて重要である。
• 既存手法のスケーラビリティの限界を克服すること。これらの手法は、大規模グラフでは終了しないか、専用のハードウェアを必要とする近似または並列化されたアプローチに依存している。
• 一般化されたグラフカットフレームワークを用いて、部分グラフカウント間の構造的関係を活用することで、VOCを効率的に計算するアルゴリズムを設計すること。
• 細粒度の局所的部分グラフ特徴（VOC）の計算が、グローバル部分グラフカウントと同等に実行可能であることを示し、わずかな定数倍のパフォーマンスペナルティで実現できることを示すこと。

提案手法

• EVOKEは、最近のグラフカットフレームワークを一般化し、大きな部分グラフの頂点軌道カウントを小さな部分グラフのカウントに関連付ける多項式方程式を導出する。
• これらの式の代数的構造を体系的に活用することで、すべての部分グラフを列挙せずにVOCを計算し、重複計算を最小限に抑える。
• アルゴリズムは軌道を並列に処理し、実行時間の分布から、5クリークや5サイクルなど数個の軌道（例：5-clique, 5-cycle）が計算時間を支配していることが判明し、効果的なロードバランシングが可能である。
• 誘導部分グラフおよび非誘導部分グラフカウントの両方をサポートし、広範な実験により正確な結果が検証されている。
• この手法はスタンドアロンパッケージとして実装され、ソーシャルネットワークやウェブグラフを含む多様な実世界のグラフで検証されている。
• 理論的に証明され、実験的に検証されたように、EVOKEの設計は、最高性能の全部分グラフカウンタ（ESC-5）と比較して、最小限の定数倍のオーバーヘッドを実現している。

実験結果

リサーチクエスチョン

• RQ1 大規模スケールで、先行手法では到達できない範囲において、すべての5頂点部分グラフの正確な頂点軌道カウント（VOC）を効率的に計算できるか？
• RQ2 VOCの計算は、グローバル部分グラフカウントと比較して、理論的および実用的なパフォーマンスオーバーヘッドがどの程度か？
• RQ3 グラフカットフレームワークを一般化して頂点軌道カウントをサポートできるか。また、その効率的な活用はどの程度可能か？
• RQ4 異なる軌道間での実行時間の分布は、並列化および全体的なパフォーマンスにどのように影響するか？
• RQ5 VOCは、引用ネットワークやソーシャルグラフなどの実世界のネットワークにおいて、意味的に意味のあるインサイトを明らかにできるか？

主な発見

• EVOKEは、コンmodityマシン上で最大6億2700万エッジ（例：com-orkut）のグラフを1時間未塔で処理でき、ORCAなどの先行ツールのスケーラビリティをはるかに超えている。
• EVOKEとESC-5（最先端のグローバルカウンタ）の実行時間比は、すべてのデータセットで常に2未塔であり、4を超えることは一度もなかった。これは、わずかな定数倍のオーバーヘッドが裏付けられていることを示している。
• 5クリークと5サイクルの軌道が、合計実行時間のおよそ半分を占めており、計算コストが最も高いコンponentであることが判明した。
• 軌道計算の並列化により、1.5〜2倍の高速化が達成された。これは、ワークロードが自然に軌道タイプごとに並列化可能であることを確認している。
• VOCの分布はグラフによって顕著に異なる。例えば、web-google-dirでは軌道17（4パスの中心）がトリンティルのカウントを示し、軌道70（5クリークから1辺を除いたもの）は尾部の挙動が著しく変動している。
• 意味的に意味のある頂点がVOCから明らかになった：書籍「C4.5」は4パスの中心軌道で最も高いカウントを示し、VLDB 94の論文は5クリーク参加数が最も多い。これは、本手法の解釈可能性を裏付けている。