[論文レビュー] KADABRA is an ADaptive Algorithm for Betweenness via Random Approximation

Michele Borassi, Emanuele Natale|arXiv (Cornell University)|Apr 28, 2016

Complex Network Analysis Techniques被引用数 10

ひとこと要約

KADABRA は、平衡な双方向 BFS を用いた効率的な最短経路サンプリングと適応的サンプリングを組み合わせることで、大規模な有向・無向グラフにおける後退中心性の近似を実現する新しい適応的アルゴリズムである。実世界のネットワークにおいて 100 倍以上の高速化を達成し、IMDB や Wikipedia ネットワークを含む数百万ノードのグラフにおいても、トップ-k 中央ノードのスケーラブルな計算を可能にした。

ABSTRACT

We present KADABRA, a new algorithm to approximate betweenness centrality in directed and undirected graphs, which significantly outperforms all previous approaches on real-world complex networks. The efficiency of the new algorithm relies on two new theoretical contributions, of independent interest. The first contribution focuses on sampling shortest paths, a subroutine used by most algorithms that approximate betweenness centrality. We show that, on realistic random graph models, we can perform this task in time $|E|^{\frac{1}{2}+o(1)}$ with high probability, obtaining a significant speedup with respect to the $Θ(|E|)$ worst-case performance. We experimentally show that this new technique achieves similar speedups on real-world complex networks, as well. The second contribution is a new rigorous application of the adaptive sampling technique. This approach decreases the total number of shortest paths that need to be sampled to compute all betweenness centralities with a given absolute error, and it also handles more general problems, such as computing the $k$ most central nodes. Furthermore, our analysis is general, and it might be extended to other settings.

研究の動機と目的

• 大規模な実世界ネットワークにおける正確な後退中心性計算の計算ボトルネックを解消すること。この計算は O(mn) のスケーリングを示し、巨大グラフでは非現実的である。
• 従来の近似手法で見られる一様サンプリングの非効率性を克服し、ノードの中心性の分散に基づいて必要なサンプル数を動的に削減する適応的サンプリングを導入すること。
• 全ノードの中心性順位付けが不要な場合でも、高信頼性でトップ-k 中央ノードを効率的に計算可能にするために、各ノードごとに異なる信頼区間を許容する仕組みを提供すること。
• 理論的分析を通じて、後退中心性にとどまらず、他のネットワーク中心性およびサンプリング問題への一般化を目指すこと。
• 実世界の複雑なネットワークにおいて、既存手法を上回る性能を発揮しながらも、厳密な確率的誤差保証を維持する実用的アルゴリズムの開発

提案手法

• ランダムなノードペア間の最短経路をサンプリングするために、両端から対称的に成長する平衡な双方向 BFS（bb-BFS）を用い、両方の探索フロントが出会うまで進行させる。
• 現実的なランダムグラフモデル（例：構成モデル、Chung-Lu）において、bb-BFS が高確率で |E|^{1/2 + o(1)} の時間で実行可能であることを証明し、標準的な O(|E|) の最悪ケースに比べて顕著に高速であることを示す。
• 推定された中心性と分散に基づいて、各ノードごとにサンプル数を動的に調整する適応的サンプリング戦略を導入し、所定の誤差許容範囲内で必要な総サンプル数を削減する。
• 集中不等式を適用して、各ノードの後退中心性の信頼区間をバインドし、すべての推定値がそれぞれの区間内にある確率が 1−δ 以上であることを保証する。
• 非一様な誤差境界を許容するフレームワークを設計し、中心性が類似しているノードには小さい区間、離れているノードには大きな区間を割り当てることで、効率的なトップ-k 中央性順位付けを可能にする。
• 無向および有向グラフの両方をサポートする実装を設計し、IMDB や Wikipedia の引用グラフを含む実世界ネットワークでの実験的検証を実施する。

実験結果

リサーチクエスチョン

• RQ1 現実的なランダムグラフモデルにおいて、標準的な O(|E|) の最悪ケース複雑性を超えて最短経路サンプリングを高速化できるか？
• RQ2 適応的サンプリングにより、所定の絶対誤差を達成するための必要な経路サンプル総数を削減できるか？
• RQ3 全中心性順位付けが不要な場合でも、高信頼性で効率的にトップ-k 中央ノードを計算できるか？
• RQ4 適応的サンプリングの理論的保証を、後退中心性にとどまらず、一般のネットワーク中心性問題へ拡張可能か？
• RQ5 パワー法則度数分布を示す実世界の複雑ネットワークにおいて、平衡な双方向 BFS は標準的な BFS よりも優れた性能を示すか？

主な発見

• KADABRA は、約 10,000 ノードのグラフにおいて、従来のアルゴリズムと比較して 100 倍以上の高速化を達成し、実世界の文脈で既存手法を著しく上回った。
• 実世界の複雑ネットワークにおいて、平衡な双方向 BFS は実際のサンプリング時間を |E|^{1/2 + o(1)} にまで短縮し、ランダムグラフモデルの理論的期待と一致した。
• 適応的サンプリング技術により、所定の絶対誤差を達成するための経路サンプル総数が削減され、特にトップ-k ノードの特定に特化したケースで顕著な恩恵をもたらした。
• KADABRA は、最大 180 万ノードのネットワーク（例：IMDB 2014 スナップショット）においても、トップ-k 後退中心性ノードを効率的に計算でき、従来の一様誤差境界を用いた手法では不可能だった。
• IMDB コラボレーションネットワーク（180 万ノード）において、λ = 0.0002 および δ = 0.1 の条件下でトップ10 の中央ノードを計算し、信頼区間の幅は約 0.0006 を達成した。
• アルゴリズムは厳密な確率的保証を維持しており、確率 1−δ 以上で、すべての後退中心性推定値がそれぞれの信頼区間内にあることを保証している。