[論文レビュー] Quick Detection of High-degree Entities in Large Directed Networks

Konstantin Avrachenkov, Nelly Litvak+2 more|arXiv (Cornell University)|Oct 2, 2014

Complex Network Analysis Techniques参考文献 19被引用数 5

ひとこと要約

本稿では、Twitter や VKontakte などの大規模な有向オンラインソーシャルネットワークにおける高次数のエンティティを、サブリニアな数のAPIリクエストで効率的に検出する2段階のランダム化アルゴリズムを提案する。極値理論を活用することで、たった1,000件のAPIリクエストで上位100位までのフォロワー数最多ユーザーを90%以上の正確度で特定でき、従来の手法に比べて精度とスケーラビリティの面で顕著に優れている。

ABSTRACT

In this paper, we address the problem of quick detection of high-degree entities in large online social networks. Practical importance of this problem is attested by a large number of companies that continuously collect and update statistics about popular entities, usually using the degree of an entity as an approximation of its popularity. We suggest a simple, efficient, and easy to implement two-stage randomized algorithm that provides highly accurate solutions for this problem. For instance, our algorithm needs only one thousand API requests in order to find the top-100 most followed users in Twitter, a network with approximately a billion of registered users, with more than 90% precision. Our algorithm significantly outperforms existing methods and serves many different purposes, such as finding the most popular users or the most popular interest groups in social networks. An important contribution of this work is the analysis of the proposed algorithm using Extreme Value Theory -- a branch of probability that studies extreme events and properties of largest order statistics in random samples. Using this theory, we derive an accurate prediction for the algorithm's performance and show that the number of API requests for finding the top-k most popular entities is sublinear in the number of entities. Moreover, we formally show that the high variability among the entities, expressed through heavy-tailed distributions, is the reason for the algorithm's efficiency. We quantify this phenomenon in a rigorous mathematical way.

研究の動機と目的

• 完全なネットワークアクセスが制限されるような大規模なオンラインソーシャルネットワークにおいて、高次数ノード（例：人気のあるユーザーまたは関心グループ）を効率的に同定する課題に対処すること。
• 重い尾を持つ次数分布を示すネットワークにおいて、上位-kの最も人気のあるエンティティを検出するために必要な高価なAPIリクエストの数を削減すること。
• ネットワークデータへのアクセスが限られている状況でも、実装が簡単で高い正確度を達成できる手法を開発すること。
• 極値理論を用いてアルゴリズムの性能を形式的に分析し、その効率性と正確度に関する理論的保証を提供すること。
• 本アルゴリズムが、Twitter や VKontakte などの実世界のソーシャルプラットフォームを含め、さまざまなネットワークタイプにわたって堅牢で汎用的であることを示すこと。

提案手法

• アルゴリズムは2段階のプロセスを用いる：まず、一様にランダムに少数のノードをサンプリングし、次にAPIを介してこれらのサンプルノードのイングリース（イン-degree）を取得する。
• 極値理論を用いて、イングリース分布の尾部挙動をモデル化し、重い尾を持つ正則変動分布に従うものと仮定する。
• 極値の順序統計の漸近的分布を分析することで、サンプルされたイングリースの極値的性質を用いて、上位-kエンティティの閾値を推定する。
• 必要なAPIリクエスト数は、O(N / a(M)) として導出され、ここで a(M) = l(M)M^γ であり、γ は次数分布の尾指数である。これによりサブリニアな複雑性が保証される。
• 極値分布に基づく閾値戦略を用いて、上位-kに属する可能性の高い候補を特定し、偽陰性を最小限に抑える。
• 理論的分析により、本手法の性能はパrameterの選択に強く依存せず、ネットワークサイズNやエンティティ数Mに伴い効率的にスケーリングされることを示している。

実験結果

リサーチクエスチョン

• RQ1 サブリニアな数のAPIリクエスト（N未満）で、大規模な有向ネットワークにおける高次数エンティティを、単純なランダム化アルゴリズムで検出可能か？
• RQ2 実世界のネットワークにおけるイングリース分布の重い尾の性質が、本アルゴリズムの性能にどのように影響を与えるか？
• RQ3 極値理論を用いることで、大規模ネットワークにおけるサンプリングベースの検出の正確度を予測・保証することは、どの程度可能か？
• RQ4 アルゴリズムの複雑性はネットワークサイズに対してサブリニアか？ もしそうであれば、次数分布のどの条件下で成立するか？
• RQ5 本アルゴリズムは、ユーザーのフォロワー数に限らず、ユーザー、関心グループなど、さまざまなタイプのソーシャルネットワークエンティティの上位エンティティ検出に一般化可能か？

主な発見

• 本アルゴリズムは、たった1,000件のAPIリクエストで、Twitterの上位100位までのフォロワー数最多ユーザーを90%以上の正確度で特定でき、TwitterCounter などの商用ツールを著しく上回る。
• 次数分布がべき則分布を示すネットワークでは、必要なAPIリクエスト数が O(N^{1−γ}) に比例し、γ ∈ (0.3, 1) の範囲でサブリニアな複雑性を達成する。
• 極値理論を用いた理論的分析により、本アルゴリズムの高い効率性が、ネットワーク次数分布の重い尾の性質と直接関連していることが確認された。
• 本手法はパrameterの変動に対して頑健であり、尾指数γが正確に特定されていなくても高い正確度を維持する。
• 本アルゴリズムは、2億人以上のユーザーを有するVKontakteにおいても、最も人気のある関心グループを効果的に検出でき、スケーラビリティと一般化可能性を実証した。
• 極値理論の活用により、イングリースサンプルの極値的順序統計を正確に予測でき、アルゴリズムの性能予測が可能になった。