[논문 리뷰] A Walk in Facebook: Uniform Sampling of Users in Online Social Networks

Minas Gjoka, Maciej Kurant외 2명|arXiv (Cornell University)|2009. 05. 30.

Complex Network Analysis Techniques참고 문헌 70인용 수 86

한 줄 요약

이 논문은 그래프 크롤링을 사용하여 온라인 소셜 네트워크(OSN)에서 사용자를 균일하게 샘플링하기 위한 실용적인 프레임워크를 제안한다. 메트로폴리스-하스팅스 랜덤 워크(MHRW)와 재가중 랜덤 워크(RWRW)를 비교하며, RWRW가 MHRW보다 1.5–7배 적은 고유 샘플 수로 더 높은 추정 정확도를 달성함을 입증한다. 이는 대규모 OSN 샘플링에서 대역폭 효율성이 높으며, 이를 바탕으로 페이스북 사용자에 대한 첫 공개 대표 샘플을 수집하는 데 응용하였다.

ABSTRACT

Our goal in this paper is to develop a practical framework for obtaining a uniform sample of users in an online social network (OSN) by crawling its social graph. Such a sample allows to estimate any user property and some topological properties as well. To this end, first, we consider and compare several candidate crawling techniques. Two approaches that can produce approximately uniform samples are the Metropolis-Hasting random walk (MHRW) and a re-weighted random walk (RWRW). Both have pros and cons, which we demonstrate through a comparison to each other as well as to the "ground truth." In contrast, using Breadth-First-Search (BFS) or an unadjusted Random Walk (RW) leads to substantially biased results. Second, and in addition to offline performance assessment, we introduce online formal convergence diagnostics to assess sample quality during the data collection process. We show how these diagnostics can be used to effectively determine when a random walk sample is of adequate size and quality. Third, as a case study, we apply the above methods to Facebook and we collect the first, to the best of our knowledge, representative sample of Facebook users. We make it publicly available and employ it to characterize several key properties of Facebook.

연구 동기 및 목표

• 온라인 소셜 네트워크(OSN)에서 사용자를 균일하거나 재가중 가능한 샘플로 확보하기 위한 실용적인 프레임워크를 개발하는 것.
• 샘플링 편향과 효율성 측면에서 MHRW, RWRW, RW, BFS 등의 다양한 크롤링 기법의 성능을 비교하는 것.
• 데이터 수집 중 샘플 품질을 평가하기 위한 온라인 수렴 진단 도구를 도입하는 것.
• 프레임워크를 페이스북에 적용하여 그 사용자에 대한 첫 공개 대표 샘플을 생성하는 것.
• 수집된 샘플을 바탕으로 페이스북의 핵심 구조적 및 사용자 수준 특성을 규명하는 것.

제안 방법

• 샘플링 프레임에 의존하지 않고, 소셜 그래프 기반의 랜덤 워크를 사용해 사용자를 샘플링한다.
• 노드의 차수에 기반해 전이 확률을 조정함으로써 편향을 보정하기 위해 메트로폴리스-하스팅스 랜덤 워크(MHRW)를 활용한다.
• 균일성에 근접하기 위해 샘플을 재가중하는 수정된 랜덤 워크인 재가중 랜덤 워크(RWRW)를 적용한다.
• 크롤링 중 실시간으로 샘플 품질을 모니터링하기 위해 온라인 수렴 진단 도구를 도입한다.
• 실세계 구조(예: AS, 이메일, WWW, P2P, 슬래시닷)에서 시뮬레이션을 수행하여 그래프 매개변수의 추정 정확도를 평가한다.
• 합성 및 실세계 데이터셋을 사용해 기준값과 결과를 검증하며, 다양한 방법 간의 추정 오차를 비교한다.

실험 결과

연구 질문

• RQ1 샘플링 프레임이 없는 조건에서, 랜덤 워크 기반 크롤링이 OSN에서 사용자를 근사적으로 균일하게 샘플링할 수 있는가?
• RQ2 실세계 OSN 구조에서 MHRW와 RWRW는 추정 정확도와 샘플링 효율성 측면에서 어떻게 비교되는가?
• RQ3 온라인 수렴 진단 도구는 랜덤 워크 샘플이 충분한 품질과 크기를 확보했는지 효과적으로 판단할 수 있는가?
• RQ4 동일한 추정 정확도를 달성하기 위해 RWRW가 MHRW보다 더 적은 고유 샘플 수가 필요한가?
• RQ5 대표 샘플을 통해 드러난 페이스북의 구조적 및 사용자 수준 특성은 무엇인가?

주요 결과

• 실세계 구조에서 RWRW는 동일한 추정 오차를 달성하기 위해 MHRW보다 1.5~7배 적은 고유 샘플 수가 필요함을 확인하여 대역폭 절감 효과가 뚜렷하다.
• MHRW는 고차수 노드를 피하는 경향이 있어 대부분의 실세계 구조에서 RWRW에 비해 성능이 열 劣하다.
• 너비 우선 탐색(BFS)과 조정되지 않은 랜덤 워크(RW)는 심각한 편향을 유발하므로 균일 샘플링에 부적합하다.
• 그림 21의 반례는 MHRW가 고립된 커뮤니티가 긴 경로로 연결된 병리적 케이스에서는 RW보다 우수할 수 있음을 보여주지만, 실생활에서는 이러한 경우가 흔하지 않다.
• 이 연구는 페이스북 사용자에 대한 첫 공개 대표 샘플을 성공적으로 수집하고 배포하여, 그 사용자 및 네트워크 특성의 대규모 특성 분석을 가능하게 하였다.
• 온라인 수렴 진단 도구가 크롤링 중 최적의 정지 시점을 판단하는 데 효과적이었으며, 실시간으로 샘플 품질 평가를 향상시켰다.