[논문 리뷰] Quick Detection of High-degree Entities in Large Directed Networks

Konstantin Avrachenkov, Nelly Litvak외 2명|arXiv (Cornell University)|2014. 10. 02.

Complex Network Analysis Techniques참고 문헌 19인용 수 5

한 줄 요약

이 논문은 트위터 및 뷰카운터크와 같은 대규모 방향성 온라인 소셜 네트워크에서 API 요청 수를 선형 이하로 줄이며, 높은 차수의 엔티티를 효율적으로 탐지하기 위한 이중 단계 무작위 알고리즘을 제안한다. 극값 이론을 활용하여, 단지 1,000회의 API 요청으로 상위 100명의 팔로워 수가 가장 많은 사용자를 90퍼센트 이상의 정밀도로 식별할 수 있으며, 기존 방법들에 비해 정확도와 확장성 면에서 뛰어나다.

ABSTRACT

In this paper, we address the problem of quick detection of high-degree entities in large online social networks. Practical importance of this problem is attested by a large number of companies that continuously collect and update statistics about popular entities, usually using the degree of an entity as an approximation of its popularity. We suggest a simple, efficient, and easy to implement two-stage randomized algorithm that provides highly accurate solutions for this problem. For instance, our algorithm needs only one thousand API requests in order to find the top-100 most followed users in Twitter, a network with approximately a billion of registered users, with more than 90% precision. Our algorithm significantly outperforms existing methods and serves many different purposes, such as finding the most popular users or the most popular interest groups in social networks. An important contribution of this work is the analysis of the proposed algorithm using Extreme Value Theory -- a branch of probability that studies extreme events and properties of largest order statistics in random samples. Using this theory, we derive an accurate prediction for the algorithm's performance and show that the number of API requests for finding the top-k most popular entities is sublinear in the number of entities. Moreover, we formally show that the high variability among the entities, expressed through heavy-tailed distributions, is the reason for the algorithm's efficiency. We quantify this phenomenon in a rigorous mathematical way.

연구 동기 및 목표

• 전체 네트워크 액세스가 제한된 대규모 온라인 소셜 네트워크에서 높은 차수의 노드(예: 인기 있는 사용자 또는 관심 그룹)를 효율적으로 식별하는 데 도전하는 것.
• 중요도 분포가 비선형적으로 분포하는 네트워크에서 상위-k개의 인기 엔티티를 탐지하기 위해 필요한 고비용 API 요청 수를 줄이는 것.
• 제한된 네트워크 데이터 액세스 조건에서도 간단히 구현 가능하면서도 높은 정확도를 갖는 방법을 개발하는 것.
• 극값 이론을 사용하여 알고리즘의 성능을 체계적으로 분석하고, 그 효율성과 정확성에 대한 이론적 보장을 제공하는 것.
• 트위터 및 뷰카운터크와 같은 실제 소셜 플랫폼을 포함한 다양한 네트워크 유형에 걸쳐 알고리즘이 얼마나 견고하고 광범위하게 적용 가능한지 보여주는 것.

제안 방법

• 알고리즘은 이중 단계 프로세스를 사용한다: 첫째, 균일하게 무작위로 소수의 노드를 샘플링하고, 둘째, 이 샘플링된 노드들의 인-degree를 API로 조회한다.
• 극값 이론을 적용하여 인-degree 분포의 꼬리 행동을 모델링하며, 이는 무거운 尾 꼬리가 있는 정규 분포로 간주한다.
• 극값의 점차적 분포를 활용하여 샘플된 인-degree의 극값 순서 통계를 분석함으로써 상위-k 엔티티의 임계값을 추정한다.
• 필요한 API 요청 수는 O(N / a(M))로 유도되며, 여기서 a(M) = l(M)M^γ 이고, γ는 차수 분포의 꼬리 지수이므로 선형 이하의 복잡도를 보장한다.
• 극값 분포 기반의 임계값 전략을 사용하여 상위-k에 속할 가능성이 높은 후보자를 식별함으로써 거짓 음성 수를 최소화한다.
• 이론적 분석 결과, 알고리즘의 성능은 파rameter 선택에 대해 강건하며, 네트워크 크기 N과 엔티티 수 M에 따라 효율적으로 확장됨을 보여준다.

실험 결과

연구 질문

• RQ1 큰 방향성 네트워크에서 N보다 훨씬 적은 API 요청 수로도 단순하고 무작위적인 알고리즘이 높은 차수의 엔티티를 탐지할 수 있는가?
• RQ2 실제 네트워크에서 인-degree 분포의 비선형 꼬리 성질이 알고리즘 성능에 어떻게 영향을 미치는가?
• RQ3 극값 이론을 얼마나 정확하게 활용하여 대규모 네트워크에서 샘플링 기반 탐지의 정확도를 예측하고 보장할 수 있는가?
• RQ4 알고리즘의 복잡도는 네트워크 크기 기준 선형 이하인가? 만약 그렇다면, 차수 분포에 어떤 조건이 필요한가?
• RQ5 이 알고리즘은 사용자 팔로워 수 외에도 다양한 소셜 네트워크 엔티티(사용자, 관심 그룹 등)의 상위 엔티티 탐지에 일반화될 수 있는가?

주요 결과

• 단지 1,000회의 API 요청으로 트위터에서 상위 100명의 팔로워 수가 가장 많은 사용자를 90퍼센트 이상의 정밀도로 식별할 수 있으며, TwitterCounter와 같은 상용 도구보다 뛰어난 성능을 보였다.
• 차수 분포가 힘의 법칙을 따르는 네트워크에서는 필요한 API 요청 수가 O(N^{1−γ})로 스케일링되며, 여기서 γ ∈ (0.3, 1) 이므로 선형 이하의 복잡도를 확보한다.
• 극값 이론을 사용한 이론적 분석은 알고리즘의 높은 효율성이 네트워크 차수 분포의 무거운 꼬리 성질과 직접적으로 관련되어 있음을 확인한다.
• 알고리즘은 파rameter 변화에 대해 강건하며, 꼬리 지수 γ가 정확히 알려져 있지 않더라도 높은 정확도를 유지한다.
• 2억 명 이상의 사용자를 보유한 뷰카운터크에서 가장 인기 있는 관심 그룹을 성공적으로 탐지하여, 알고리즘의 확장성과 일반화 능력을 입증하였다.
• 극값 이론의 적용은 인-degree 샘플의 극값 순서 통계를 추정하는 데 있어 알고리즘 성능 예측의 정확도를 높였다.