[論文レビュー] NetworKit: An Interactive Tool Suite for High-Performance Network Analysis.

Christian Staudt, Aleksejs Sazonovs+1 more|arXiv (Cornell University)|Mar 12, 2014

Complex Network Analysis Techniques参考文献 52被引用数 60

ひとこと要約

NetworKit は、大規模な複雑ネットワークの分析を目的としたオープンソースで高性能なソフトウェアスイートであり、C++ で実装されたコア部と Python ベースのインタラクティブインターフェースを組み合わせることで、スケーラブルで共有メモリ並列処理が可能な分析を可能にしている。主なネットワーク解析機能とグラフ生成機能をサポートしており、高いパフォーマンス、インタラクティブなワークフロー、科学的計算エコシステムへの統合を実現している。

ABSTRACT

We introduce NetworKit, an open-source software package for high-performance analysis of large complex networks. Complex networks are equally attractive and challenging targets for data mining, and novel algorithmic solutions as well as parallelization are required to handle data sets containing billions of connections. Our goal for NetworKit is to package results of our algorithm engineering efforts and put them into the hands of domain experts. NetworKit is a hybrid combining the performance of kernels written in C++ with a convenient interactive interface written in Python. The package supports shared-memory parallelism and scales from notebooks to compute servers. In comparison with related software, we propose NetworKit as a package geared towards large networks and satisfying three important criteria: High performance, interactive workflows and integration into an ecosystem of tested tools for data analysis and scientific computation. The current feature set includes analytics kernels such as degree distribution, connected components, clustering coefficients, community detection, k-core decomposition, degree assortativity and multiple centrality indices. Moreover, NetworKit comes with a collection of graph generators. With the current release, we present and open up the project to a community of both algorithm engineers and domain experts

研究の動機と目的

• 100億本以上の接続を持つ大規模な複雑ネットワークを、ハイパフォーマンスコンピューティングを用いて効率的に分析する課題に対処する。
• アルゴリズム工学の専門家とドメインエキスパートの間の溝を埋めるために、アクセスしやすくも強力な分析ツールを提供する。
• ノートブックからハイパフォーマンスコンピュータサーバーまで、インタラクティブでスケーラブルなネットワーク解析ワークフローを可能にする。
• データ分析と再現可能性のある研究を支援する、確立された科学的計算エコシステムへの統合を実現する。
• 多様なユースケースに対応する包括的なネットワーク解析カーネルとグラフ生成機能を提供する。

提案手法

• パフォーマンスが求められるネットワーク解析アルゴリズムを C++ で実装し、高速実行を実現する。
• C++ カーネルを Python インターフェースで公開することで、インタラクティブで使いやすいワークフローをサポートする。
• 共有メモリ並列処理を活用し、マルチコアシステム上で計算をスケーリングする。
• 低レベルのパフォーマンスと高レベルの使いやすさの両立を図るため、ハイブリッドシステムとしてソフトウェアを設計する。
• 既存の科学的計算ツールや環境との統合を実現し、シームレスなデータ分析を可能にする。
• 合成ネットワークの実験やベンチマークに役立つ、複数のグラフ生成器のコレクションを含む。

実験結果

リサーチクエスチョン

• RQ1 100億本以上の接続を持つ大規模な複雑ネットワークを、ハイパフォーマンスコンピューティングを用いてどのように効率的に分析できるか？
• RQ2 パフォーマンスを犠牲にせずに、スケールが大きい状況でもインタラクティブなネットワーク解析ワークフローをどの程度維持できるか？
• RQ3 C++ と Python を組み合わせたハイブリッドソフトウェアスタックは、ドメインエキスパートにとって、高いパフォーマンスと使いやすさの両方を達成できるか？
• RQ4 NetworKit は、再現可能なネットワーク解析を実現するために、既存の科学的計算エコシステムにどの程度統合できるか？
• RQ5 実際の包括的なネットワーク研究において、不可欠なコアなネットワーク解析機能とグラフ生成機能は何か？

主な発見

• NetworKit は最適化された C++ カーネルとインタラクティブな Python インターフェースの組み合わせにより、高性能なネットワーク解析を成功裏に実現している。
• ソフトウェアは共有メモリ並列処理をサポートしており、インタラクティブなノートブックからハイパフォーマンスコンピュータサーバーまで、効率的なスケーリングが可能である。
• 次数分布、連結成分、クラスタ係数、複数の中心性インデックスを含む包括的な解析カーネルのセットを提供している。
• グラフ生成器の統合により、合成ネットワークの実験やベンチマークに役立つユーティリティが向上している。
• NetworKit は、確立された科学的計算エコシステムへのシームレスな統合を設計しており、再現可能でインタラクティブな研究ワークフローを支援している。
• プロジェクトはオープンソースであり、コミュニティ主導であり、アルゴリズムエンジニアとドメインエキスパートの両方からの貢献を歓迎している。