[論文レビュー] Panther: Fast Top-k Similarity Search in Large Networks

Jing Zhang, Jie Tang+4 more|arXiv (Cornell University)|Apr 10, 2015

Complex Network Analysis Techniques参考文献 32被引用数 24

ひとこと要約

Pantherは、構造的類似性を推定するために経路に沿ったランダムウォークを用いる、高速でサンプリングベースの方法を提案する。大規模ネットワークにおけるトップ-k頂点類似度検索において、最先端の手法と比較して最大300倍の高速化を達成しながら、証明可能な誤差バウンドと信頼性を維持しており、非連結頂点同士の比較が可能な拡張版（Panther++）も備えている。

ABSTRACT

Estimating similarity between vertices is a fundamental issue in network analysis across various domains, such as social networks and biological networks. Methods based on common neighbors and structural contexts have received much attention. However, both categories of methods are difficult to scale up to handle large networks (with billions of nodes). In this paper, we propose a sampling method that provably and accurately estimates the similarity between vertices. The algorithm is based on a novel idea of random path, and an extended method is also presented, to enhance the structural similarity when two vertices are completely disconnected. We provide theoretical proofs for the error-bound and confidence of the proposed algorithm. We perform extensive empirical study and show that our algorithm can obtain top-k similar vertices for any vertex in a network approximately 300x faster than state-of-the-art methods. We also use identity resolution and structural hole spanner finding, two important applications in social networks, to evaluate the accuracy of the estimated similarities. Our experimental results demonstrate that the proposed algorithm achieves clearly better performance than several alternative methods.

研究の動機と目的

• 数百億ノードを含む大規模ネットワークにおける、従来の頂点類似度手法のスケーラビリティの課題に対処すること。
• 共通近傍と構造的役割に基づく類似度の両方の原則を統合する包括的な手法を開発すること。
• 証明可能な正確性保証のもとで、大規模ネットワークにおける任意の頂点に対する効率的なトップ-k類似度検索を可能にすること。
• 従来の手法が効果的に処理できない非連結ネットワーク内の頂点間の類似度推定を拡張すること。
• 身元統合や構造的ホールカバー検出といった実世界の応用において優れた性能を示すこと。

提案手法

• ランダムに選択された頂点から出発する長さTのR回のランダムウォークを用い、パス上での共起頻度に基づいて類似度を推定する。
• 理論的分析により、誤差バウンドεを1−δの信頼度で満たすために、サンプルサイズR = c/ε²(log₂(C(T,2)) + 1 + ln(1/δ))が必要であることが示された。
• 頂点に構造に基づく特徴ベクトルを追加することで、類似度推定を向上させるPanther++という拡張を導入する。
• これらの特徴ベクトルを活用し、頂点が非連結なコンponentsに存在する場合でも類似度を計算可能にする。
• 全行列計算を避けるために、サンプリングを用いて各ノードのトップ-k類似頂点を効率的に計算する。
• 理論的バウンドを活用し、全検証計算を実施せずに類似度推定の正確性と信頼性を保証する。

実験結果

リサーチクエスチョン

• RQ1 サンプリングベースの手法は、大規模ネットワークにおけるトップ-k頂点類似度検索において、高速性と証明可能な正確性の両方を達成できるか？
• RQ2 ネットワーク内で完全に非連結な頂点間の構造的類似度は、どのように推定できるか？
• RQ3 ランダムパスサンプリング戦略は、SimRank や ReFeX といった従来手法に比べ、効率性とスケーラビリティの面でどの程度優れているか？
• RQ4 身元統合や構造的ホールカバー検出といった実世界の応用において、本手法は高い正確性を維持できるか？
• RQ5 提案されたランダムウォークフレームワークにおいて、サンプルサイズ、パス長さ、推定誤差の理論的関係は何か？

主な発見

• Tencentのサブネットワーク（443,070ノード、500万エッジ）において、最も高速なベースライン手法（fast top-k SimRank）と比較して、Pantherは約300倍の高速化を達成した。
• 本手法は最大5160万ノード、10億エッジのネットワークにもスケーリング可能であり、ノード1つあたり平均0.0001秒でトップ-k結果を返すことができる。
• Panther++は、非連結なネットワーク間でも類似頂点を効果的に同定でき、2つの非連結ネットワーク間のトップ-k検索でその有効性が実証された。
• 身元統合タスクにおいて、Panther++は代替手法を上回り、重複する身元をリンクする際の正確性が高かった。
• 理論的分析により、サンプルサイズRがT、ε、δにのみ依存する形で、誤差εを1−δの信頼度で保証することが確認された。
• 実験的結果により、Panther++は構造的ホールカバー検出という重要なネットワーク解析タスクにおいて、複数のベースラインを上回る性能を示した。