[論文レビュー] SNAP: A General Purpose Network Analysis and Graph Mining Library

Jure Leskovec, Rok Sosič|arXiv (Cornell University)|Jun 24, 2016

Complex Network Analysis Techniques参考文献 48被引用数 127

ひとこと要約

SNAPは、単一の大規模メモリ機での大規模ネットワーク分析とグラフマイニングを対象とした高性能なオープンソースのC++（Pythonモジュール付き）ライブラリで、動的グラフをサポートし、8種類のグラフタイプ、20個の生成器、20個の操作方法にわたる200以上の機能を提供します。

ABSTRACT

Large networks are becoming a widely used abstraction for studying complex systems in a broad set of disciplines, ranging from social network analysis to molecular biology and neuroscience. Despite an increasing need to analyze and manipulate large networks, only a limited number of tools are available for this task. Here, we describe Stanford Network Analysis Platform (SNAP), a general-purpose, high-performance system that provides easy to use, high-level operations for analysis and manipulation of large networks. We present SNAP functionality, describe its implementational details, and give performance benchmarks. SNAP has been developed for single big-memory machines and it balances the trade-off between maximum performance, compact in-memory graph representation, and the ability to handle dynamic graphs where nodes and edges are being added or removed over time. SNAP can process massive networks with hundreds of millions of nodes and billions of edges. SNAP offers over 140 different graph algorithms that can efficiently manipulate large graphs, calculate structural properties, generate regular and random graphs, and handle attributes and meta-data on nodes and edges. Besides being able to handle large graphs, an additional strength of SNAP is that networks and their attributes are fully dynamic, they can be modified during the computation at low cost. SNAP is provided as an open source library in C++ as well as a module in Python. We also describe the Stanford Large Network Dataset, a set of social and information real-world networks and datasets, which we make publicly available. The collection is a complementary resource to our SNAP software and is widely used for development and benchmarking of graph analytics algorithms.

研究の動機と目的

• 単一のマシン上で数億ノード規模のグラフを扱える、拡張性と柔軟性を備えたネットワーク分析ツールの必要性を動機づける。
• SNAPのアーキテクチャ、データ構造、実装の詳細を、パフォーマンス、メモリの占有量、動的グラフ機能のバランスを取りながら説明する。
• グラフ生成、操作、分析手法の包括的なセットを提示する。
• 既存の単一マシンシステムと比較して、速度とメモリ効率の利点を示すためにSNAPをベンチマークする。

提案手法

• 複数のグラフタイプ（有向、無向、マルチグラフ、属性付き）間でインターフェースを統一するグラフおよびネットワークコンテナの抽象化を導入する。
• 柔軟性と速度のバランスを取るため、ノードのハッシュテーブルとソート済み隣接ベクターを用いたコンパクトなインメモリ表現を説明する。
• アルゴリズムがコンテナに依存せず再利用可能になるよう、統一されたイテレータベースAPIを提供する。
• 参照カウントとディスクへの高速ロード/セーブを通じたメモリ管理の詳細を説明する。
• 生成器、操作、分析を含む、140以上のグラフアルゴリズムと200以上の総機能の概要を示す。
• 性能とメモリ使用量を比較するSNAPとNetworkXおよびiGraphのベンチマーク方法論。

実験結果

リサーチクエスチョン

• RQ1 SNAPのデータ構造とレイヤリングは、単一マシン上で非常に大規模なグラフの分析をどのようにスケールさせるのか？
• RQ2 SNAPのコア機能（コンテナ、生成器、アルゴリズム）は何か、そして性能とメモリ効率の点で既存ツールとどう比較されるのか？
• RQ3 オンライン修正を伴う動的グラフを、高いパフォーマンスを維持しつつ効率的にサポートできるのか？
• RQ4 大規模ネットワークにおける速度とメモリ使用量の観点で、SNAPは既存ライブラリ（NetworkX、iGraph）とどう比較されるのか？
• RQ5 SNAP内で利用可能なコミュニティ検出、リンク予測、拡散、その他のグラフ分析の範囲はどの程度か？

主な発見

• SNAPは単一のマシンで数億ノード・十億件エッジを処理できる。
• SNAPは8つのグラフ/ネットワークタイプ、20の生成器、20の操作方法にまたがる140以上のグラフアルゴリズムと200以上の機能を提供する。
• NetworkXと比較して、SNAPは約1〜2オーダーの速度向上と約50倍のメモリ節約を実現し、同じハードウェア上でより大規模またはより高速な分析を可能にする。
• iGraphと比較して、SNAPは約3×少ないメモリを使用し、動的グラフの変更に対してははるかに柔軟で、ケースによっていくつかのアルゴリズムは大幅に高速化または遅くなる。
• SNAPの設計は、計算中にネットワークを動的に変更できる低コスト性を実現しており、オンラインやストリーミンググラフワークロードにおける大きな強みとなる。