[論文レビュー] A new algorithm for extracting a small representative subgraph from a very large graph

Harish Sethu, Xiaoyu Chu|arXiv (Cornell University)|Jul 19, 2012

Complex Network Analysis Techniques参考文献 29被引用数 10

ひとこと要約

本稿では、バイアス補正付きランダムウォークを用いて、元のノード数の5%未塔の部分グラフを抽出するスケーラブルなグラフサンプリングアルゴリズム「Tiny Sample Extractor」を提案する。この手法は、次数分布（次数指数で測定）およびクラスタリング係数といった重要なトポロジカル特性を保持する。既存手法（メトロポリス化ランダムウォーク、スノーボール、フォレストファイア）に比べ、収束速度と精度が優れており、5%未満のサンプルサイズでも、これらの特性をほぼ理想に近い精度で保持する。

ABSTRACT

Many real-world networks are prohibitively large for data retrieval, storage and analysis of all of its nodes and links. Understanding the structure and dynamics of these networks entails creating a smaller representative sample of the full graph while preserving its relevant topological properties. In this report, we show that graph sampling algorithms currently proposed in the literature are not able to preserve network properties even with sample sizes containing as many as 20% of the nodes from the original graph. We present a new sampling algorithm, called Tiny Sample Extractor, with a new goal of a sample size smaller than 5% of the original graph while preserving two key properties of a network, the degree distribution and its clustering co-efficient. Our approach is based on a new empirical method of estimating measurement biases in crawling algorithms and compensating for them accordingly. We present a detailed comparison of best known graph sampling algorithms, focusing in particular on how the properties of the sample subgraphs converge to those of the original graph as they grow. These results show that our sampling algorithm extracts a smaller subgraph than other algorithms while also achieving a closer convergence to the degree distribution, measured by the degree exponent, of the original graph. The subgraph generated by the Tiny Sample Extractor, however, is not necessarily representative of the full graph with regard to other properties such as assortativity. This indicates that the problem of extracting a truly representative small subgraph from a large graph remains unsolved.

研究の動機と目的

• 巨大な実世界ネットワークから、完全な解析がサイズやアクセス制限のため不可能な場合に、小さな代表的サブグラフを抽出する課題に対処すること。
• 元のグラフの性質（次数指数やクラスタリング係数など）を事前に知らなくてもよい、O(h)ノード（hはサンプルサイズ）のみを訪問するスケーラブルなサンプリングアルゴリズムを開発すること。
• 特に次数分布とクラスタリング係数といった重要なトポロジカル特性を、元のグラフの5%未塔のサンプルサイズにまで最小限に抑えることで保持すること。
• 特にローカルアクセスしか得られないネットワークにおいて顕著な測定バイアスを低減すること。
• 収束性と精度の観点から、提案手法と既存のサンプリング戦略を比較・評価すること。

提案手法

• 標準的なランダムウォークでは高次ノードに偏りが生じるため、ノード訪問頻度の固有の歪みを補正するバイアス付きランダムウォークを採用する。
• クローリングプロセス中に生じる測定バイアスを推定・補正する経験的手法を用い、サンプルサブグラフの代表性を向上させる。
• 各新しいノードを発見した後、常に出発ノードに戻ることで、体系的な探索を確保し、重複を低減する。
• 訪問ノードの観察された次数分布に基づき、動的にバイアスを調整することで、優先的付加効果を相殺する。
• 望ましいサンプルサイズに線形にスケーリングできるように設計されており、大規模ネットワークにおいても効率的である。
• 実行中に元のグラフのグローバルな性質（次数指数やクラスタリング係数など）を入力として必要としない。

実験結果

リサーチクエスチョン

• RQ1 5%未塔のサンプルサイズで、大規模ネットワークの次数分布を保持できるグラフサンプリングアルゴリズムは存在するか？
• RQ2 サンプルサイズが増加するに従い、さまざまなサンプリング戦略における主要トポロジカル特性（次数指数、クラスタリング係数、相関性）の収束性はどのように変化するか？
• RQ3 ランダムウォークにおけるバイアス補正は、標準的ランダムウォークやBFSベース手法と比較して、サンプルサブグラフの代表性をどの程度向上させ得るか？
• RQ4 新しいサンプリング戦略を用いることで、より小さなサンプルサイズで元のグラフの次数分布に早く収束することは可能か？
• RQ5 一部の特性（例：相関性）は保持できないにもかかわらず、他の特性（例：クラスタリング係数）は保持できる場合、なぜこのようなサンプリングアルゴリズムが失敗するのか？

主な発見

• Tiny Sample Extractorは、5%未塔のサンプルサイズですでに、メトロポリス化ランダムウォーク、スノーボール、フォレストファイアに比べ、元のグラフの次数指数への収束が著しく速い。
• わずか1%のノードでも、アルゴリズムは元のグラフの平均クラスタリング係数を高い精度で保持しており、他の手法を上回る。
• 20%のサンプルサイズですら、スノーボールおよびフォレストファイア手法は元の次数指数に収束しないことが示され、これら手法が次数分布の保持に根本的な限界を有することを示している。
• 次数分布およびクラスタリング係数の保持において、計算コストが高く複雑な手法を含め、他のすべてのテスト手法よりも本アルゴリズムの性能が優れている。
• 次数分布およびクラスタリングの両方で優れた性能を示すにもかかわらず、相関性の保持は不十分であり、すべてのネットワーク特性を同時に保持できる単一のサンプリング手法は存在しないことを示している。
• 結果から、すべてのネットワーク特性を真正に代表するサブグラフを作成する問題は未解決であり、保持される特性間のトレードオフは避けられないことが示された。