[論文レビュー] Motivo: fast motif counting via succinct color coding and adaptive sampling

Marco Bressan, Stefano Leucci+1 more|arXiv (Cornell University)|Jun 4, 2019

Advanced Graph Theory Research参考文献 28被引用数 6

ひとこと要約

Motivoは、要約色コーディングと適応的サンプリングを用いて、大規模グラフにおける高速かつ高精度なモチーフカウントのための新規アルゴリズムを導入する。データ構造の最適化と分数集合被覆に基づくサンプリング戦略を採用することで、すべてのグラフレットを一度に乗法的近似が可能となり、高級デスクトップマシンでの10億エッジ規模のグラフにおいても、レアで複雑なモチーフのスケーラブルなカウントが実現される。

ABSTRACT

The randomized technique of color coding is behind state-of-the-art algorithms for estimating graph motif counts. Those algorithms, however, are not yet capable of scaling well to very large graphs with billions of edges. In this paper we develop novel tools for the `motif counting via color coding' framework. As a result, our new algorithm, Motivo, is able to scale well to larger graphs while at the same time provide more accurate graphlet counts than ever before. This is achieved thanks to two types of improvements. First, we design new succinct data structures that support fast common color coding operations, and a biased coloring trick that trades accuracy versus running time and memory usage. These adaptations drastically reduce the time and memory requirements of color coding. Second, we develop an adaptive graphlet sampling strategy, based on a fractional set cover problem, that breaks the additive approximation barrier of standard sampling. This strategy gives multiplicative approximations for all graphlets at once, allowing us to count not only the most frequent graphlets but also extremely rare ones. To give an idea of the improvements, in $40$ minutes Motivo counts $7$-nodes motifs on a graph with $65$M nodes and $1.8$B edges; this is $30$ and $500$ times larger than the state of the art, respectively in terms of nodes and edges. On the accuracy side, in one hour Motivo produces accurate counts of $\approx \! 10.000$ distinct $8$-node motifs on graphs where state-of-the-art algorithms fail even to find the second most frequent motif. Our method requires just a high-end desktop machine. These results show how color coding can bring motif mining to the realm of truly massive graphs using only ordinary hardware.

研究の動機と目的

• 10億エッジ規模のグラフにおける、従来のモチーフカウントアルゴリズムのスケーラビリティ制限を克服すること。
• 標準的なサンプリング手法が捉えきれない、まれなグラフレットの推定精度を向上させること。
• 最適化されたデータ構造を用いることで、色コーディングベースのモチーフカウントにおける時間的・メモリ的オーバーヘッドを低減すること。
• すべてのグラフレットを一度に乗法的誤差保証を満たすように、加法的近似の壁を打ち破るサンプリング戦略を開発すること。
• 専用インfrastrutureを必要とせず、コンmodityハードウェアでも大規模なモチーフ解析を可能にすること。

提案手法

• 共通の色コーディング操作を高速化し、メモリ使用量を削減する要約データ構造の設計。
• 精度、実行時間、メモリ消費量のトレードオフを許容するバイアス色付け技術の導入。
• すべてのグラフレットのカバレッジを保証しつつ、合計サンプル数を最小化するため、サンプリング割り当て問題を分数集合被覆問題として定式化。
• 未カバーのグラフレットのカバレッジを最適化する動的優先順位付けに基づく、適応的グラフレットサンプリング戦略（AGS）の実装。
• 集合被覆定式化を解くための貪欲アルゴリズムを用い、sが異なるグラフレットの数である場合、O(log s)の近似要因を保証。
• サンプルされたツリークトが特定のグラフレットをカバーする確率を用いて、行列Aによるスパニング確率を用い、グラフレット出現回数の期待値を推定。

実験結果

リサーチクエスチョン

• RQ1 色コーディングを最適化することで、10億エッジ規模のグラフに高精度を維持したままスケーリング可能か？
• RQ2 すべてのグラフレットを一度に乗法的近似が可能となるようなサンプリング戦略を設計可能か？（単に頻度推定にとどまらない。）
• RQ3 データ構造と色付けヒューリスティクスをどのように洗練すれば、モチーフカウントにおける時間的・メモリ的オーバーヘッドを低減できるか？
• RQ4 集合被覆原理に基づく適応的サンプリングは、モチーフカウントの効率性と正確性をどの程度向上できるか？
• RQ5 専用ハードウェアを必要とせず、1台の高級デスクトップマシンでも大規模なモチーフカウントが可能か？

主な発見

• Motivoは、6500万ノード、18億エッジのグラフで7ノードモチーフを40分でカウントした。これは、従来の最先端技術と比較してノード数で30倍、エッジ数で500倍も大きい規模である。
• 1時間の実行時間で、Motivoは、従来のアルゴリズムが2番目に頻度の高いモチーフ即ち識別できなかったグラフにおいて、約10,000種類の異なる8ノードモチーフの正確なカウントを生成した。
• すべてのグラフレットを一度に乗法的近似保証を達成しており、頻度の高いモチーフから極めてまれなモチーフに至るまで、信頼性の高い推定が可能である。
• 要約データ構造とバイアス色付けを用いることで、Motivoは時間的・メモリ的使用量を顕著に削減し、従来の色コーディングベースのアプローチの限界を超えてスケーリング可能となった。
• 分数集合被覆に基づく適応的サンプリング戦略は、すべてのグラフレットにバランスの取れたカバレッジを提供するため、標準的な加法的サンプリング手法を上回る性能を発揮した。
• Motivoは1台の高級デスクトップマシンでも効率的に動作し、クラスターやHPCインfrastrutureを必要とせず、大規模なモチーフマイニングが実現可能であることを示した。