[논문 리뷰] Estimating and Sampling Graphs with Multidimensional Random Walks

Bruno Ribeiro, Don Towsley|arXiv (Cornell University)|2010. 02. 09.

Complex Network Analysis Techniques참고 문헌 33인용 수 58

한 줄 요약

이 논문은 큰 크기의 비연결 또는 흩어진 연결성을 가진 그래프에서 추정 정확도를 향상시키기 위해 균일하게 샘플된 정점에서 시작하는 m개의 종속된 랜덤 워커를 사용하는 새로운 m차원 랜덤 워크 방법인 프롤티어 샘플링을 제안한다. 워커들의 연합 정적 분포를 활용하여, 표준 랜덤 워크와 랜덤 정점 샘플링보다 낮은 추정 오차를 달성하며, 특히 도수 분포 꼬리와 전역 네트워크 특성에서 뛰어난 성능을 발휘한다.

ABSTRACT

Estimating characteristics of large graphs via sampling is a vital part of the study of complex networks. Current sampling methods such as (independent) random vertex and random walks are useful but have drawbacks. Random vertex sampling may require too many resources (time, bandwidth, or money). Random walks, which normally require fewer resources per sample, can suffer from large estimation errors in the presence of disconnected or loosely connected graphs. In this work we propose a new $m$-dimensional random walk that uses $m$ dependent random walkers. We show that the proposed sampling method, which we call Frontier sampling, exhibits all of the nice sampling properties of a regular random walk. At the same time, our simulations over large real world graphs show that, in the presence of disconnected or loosely connected components, Frontier sampling exhibits lower estimation errors than regular random walks. We also show that Frontier sampling is more suitable than random vertex sampling to sample the tail of the degree distribution of the graph.

연구 동기 및 목표

• 비연결 또는 흩어진 연결성을 가진 그래프에서 표준 랜덤 워크를 사용할 경우 발생하는 높은 추정 오차 문제를 해결하기 위해.
• 도수 분포와 클러스터링 계수와 같은 전역 네트워크 특성을 추정하기 위한 샘플링 효율성과 정확도를 향상시키기 위해.
• 희박하거나 속도 제한이 있는 네트워크에서 랜덤 정점 샘플링에 비해 자원 비용을 줄이기 위해.
• 독립적인 다중 랜덤 워크가 하위그래프를 효과적으로 탐색하지 못할 수 있는 문제를 해결하기 위해 더 견고한 대안을 제공하기 위해.
• 랜덤 정점 샘플링이 잘 포착하지 못하는 도수 분포의 꼬리 부분을 정확하게 추정할 수 있도록 하기 위해.

제안 방법

• 프롤티어 샘플링은 각 차원이 워커의 위치에 해당하는 공유되는 m차원 상태 공간에서 상호 종속적으로 진화하는 m개의 랜덤 워커를 사용한다.
• 이 방법은 원래 그래프에 대한 투영이 샘플링 과정을 제공하는 단일의 m차원 마르코프 체인을 사용한다.
• 연합 정적 분포는 개별 정점들이 그들의 도수 비례 확률로 방문됨을 보장하여 표준 랜덤 워크의 핵심 성질을 유지한다.
• 세부 균형을 유지하고 올바른 정적 분포로 수렴하도록 보장하는 전이 메커니즘에 기반해 워커들이 동기적으로 업데이트된다.
• 샘플링 과정은 도수 분포, 조화성, 전역 클러스터링 계수와 같은 그래프 특성의 편향 없는 추정을 가능하게 한다.
• 이 방법은 완전히 분산되어 있으며 워커 간의 조율이나 통신이 필요 없어 대규모 네트워크 분석에 대해 확장 가능하고 실용적이다.

실험 결과

연구 질문

• RQ1 비연결 또는 흩어진 연결 성분을 가진 그래프에서 다중 워커 랜덤 워크 전략이 추정 오차를 줄일 수 있는가?
• RQ2 프롤티어 샘플링은 전역 네트워크 특성을 추정할 때 단일 랜덤 워크와 독립적인 다중 랜덤 워크보다 어떻게 비교되는가?
• RQ3 프롤티어 샘플링은 도수 분포의 꼬리를 추정할 때 랜덤 정점 샘플링보다 더 효과적인가?
• RQ4 종속 워커들의 연합 행동이 복잡한 네트워크에서 혼합성과 탐색 성능을 향상시킬 수 있는가?
• RQ5 m차원 공간에서의 연합 정적 분포의 이론적 및 경험적 성질은 무엇인가?

주요 결과

• 시뮬레이션을 통해 실제 세계의 네트워크에서 비연결 또는 흩어진 연결 성분을 가진 그래프에서 표준 랜덤 워크보다 프롤티어 샘플링이 낮은 추정 오차를 달성하는 것으로 입증되었다.
• 특히 단일 워커가 갇힐 수 있는 하위그래프를 탐색할 때, 균일한 랜덤 정점에서 시작하는 독립적인 다중 랜덤 워크보다 프롤티어 샘플링이 더 뛰어난 성능을 발휘한다.
• 분석적 논증과 시뮬레이션을 통해 프롤티어 샘플링은 랜덤 정점 샘플링보다 도수 분포의 꼬리 부분을 더 정확하게 추정함을 입증하였다.
• m개의 워커의 연합 정적 분포는 정점들이 도수 비례 확률로 샘플링됨을 보장하여 정규 랜덤 워크의 통계적 성질을 유지한다.
• 이 방법은 완전히 분산되어 있으며 조율이나 통신 오버헤드가 없어 확장 가능하고 대규모 네트워크 분석에 적합하다.
• 시뮬레이션 결과, 프롤티어 샘플링은 사회 네트워크에서 진입도 분포와 그룹 소속 비율을 추정하는 데 더 견고한 성능을 보였다.