[論文レビュー] Truss Decomposition in Massive Networks

Jia Wang, James Cheng|arXiv (Cornell University)|May 30, 2012

Complex Network Analysis Techniques参考文献 29被引用数 9

ひとこと要約

本稿では、主記憶に収まらない大規模なネットワークにおける効率的かつI/O効率の良いトラス分解のためのアルゴリズムを提案する。先行研究に比べ、高次数頂点の処理を最適化し、主記憶に収まらないデータセットでもスケーラブルな計算を可能にした。主な貢献は、k-トランスがkコアよりも tighter でより一貫性のあるネットワーク構造を捉えられることを示したことである。実験では、実世界のグラフにおいて、既存の手法よりも顕著な性能向上が得られた。

ABSTRACT

The k-truss is a type of cohesive subgraphs proposed recently for the study of networks. While the problem of computing most cohesive subgraphs is NP-hard, there exists a polynomial time algorithm for computing k-truss. Compared with k-core which is also efficient to compute, k-truss represents the "core" of a k-core that keeps the key information of, while filtering out less important information from, the k-core. However, existing algorithms for computing k-truss are inefficient for handling today's massive networks. We first improve the existing in-memory algorithm for computing k-truss in networks of moderate size. Then, we propose two I/O-efficient algorithms to handle massive networks that cannot fit in main memory. Our experiments on real datasets verify the efficiency of our algorithms and the value of k-truss.

研究の動機と目的

• 大規模ネットワークにおけるトランス分解のための従来のアルゴリズムの非効率性を解消すること。
• 中程度のサイズのグラフを対象に、高次数頂点の処理を最適化した主記憶内アルゴリズムを開発すること。
• 主記憶に収まらない大規模ネットワークを処理するためのI/O効率の良いアルゴリズムを設計すること。
• k-トランスがネットワーク解析においてkコアよりも効果的な凝集的サブグラフであることを示すこと。

提案手法

• 高次数頂点処理におけるボトルネックを除去し、中程度のサイズのグラフにおいて性能を向上させる改良型の主記憶内アルゴリズムを提案する。
• 反復的なエッジサポート計算と効率的なグラフ分割を活用した、大規模ネットワーク向けのボトムアップ型I/O効率の良いアルゴリズムを導入する。
• 上位t個のk-トランスのみを必要とするアプリケーションに特化したトップダウン型I/O効率の良いアルゴリズムを設計する。
• トランス分解の重要なステップであるエッジサポートの計算に、I/O効率の良い三角形カウントアルゴリズムを用いる。
• 下位から上位のk値へと段階的にk-トランスを構築するボトムアップアプローチを採用し、正しさと効率性を確保する。
• グラフ分割と外部記憶処理を活用して、主記憶容量を超えるデータセットの処理を可能にする。

実験結果

リサーチクエスチョン

• RQ1 主記憶に収まらない大規模ネットワークに対し、トランス分解をスケーラブルに実行できるか？
• RQ2 k-トランスはkコアと比較して、凝集的で結束の強いネットワーク構造をどれほどよく捉えられるか？
• RQ3 大規模グラフにおいて、I/O効率の良いアルゴリズムが、従来の主記憶内およびMapReduceベースの手法を上回る性能を発揮できるか？
• RQ4 最大クリーク列挙および最大クリーク探索において、k-トランスはkコアよりも優れたヒューリスティックであるか？
• RQ5 提案手法の実行時間およびI/O効率の観点で、従来手法に比べてどの程度の性能向上が得られるか？

主な発見

• 提案された主記憶内アルゴリズムは、Cohenのオリジナルの主記憶内アルゴリズムを著しく上回り、特に高次数頂点を含むグラフにおいて顕著な向上が得られた。
• ボトムアップ型I/O効率の良いアルゴリズムにより、主記憶に収まらない大規模ネットワーク（WikipediaやFriendsterグラフなど）におけるスケーラブルなトランス分解が可能になった。
• トップダウン型アルゴリズムは上位t個のk-トランスを効率的に取得でき、ネットワークの最も凝集的な部分に焦点を当てたアプリケーションに適している。
• 実験では、実際のマネージャー関係グラフの4-トランスのクラスタリング係数が0.80に達し、元のグラフ（0.51）や3コア（0.65）よりも顕著に高く、より強いコミュニティの結束性を示した。
• kmax-トランス（最も凝集的なk-トランス）はcmaxコアよりも著しく凝集的であり、k-トランス下での最大クリークサイズは53頂点に制限される一方、kコア下では132頂点に達するため、弱い接続のフィルタリングが優れていることが示された。
• 最大クリーク列挙および最大クリーク探索において、k-トランスはkコアよりも優れたヒューリスティックであることが実証され、密度が高く意味のあるサブ構造をよりよく分離できることがわかった。