[논문 리뷰] Characterizing Directed and Undirected Networks via Multidimensional Walks with Jumps

Fabrício Murai, Bruno Ribeiro외 2명|arXiv (Cornell University)|2017. 03. 23.

Complex Network Analysis Techniques참고 문헌 21인용 수 4

한 줄 요약

이 논문은 방향성 네트워크와 무방향 네트워크 양쪽 모두를 샘플링하기 위해 다수의 조율된 워커와 무작위 점프를 사용하여 갇힘을 방지하는 데 기반한 새로운 랜덤 워크 기반 방법인 Directed Unbiased Frontier Sampling (DUFS)을 제안한다. DUFS는 워커의 경로에서 실시간으로 무방향 그래프를 구성하고, 노드 레이블 분포에 대해 개선된 최소 분산 불편 추정량을 제공하여 기존 방법에 비해 진동도 분포의 헤드를 훨씬 더 잘 추정하며 꼬리 부분의 정확성은 동등하거나 초월한다.

ABSTRACT

Estimating distributions of node characteristics (labels) such as number of connections or citizenship of users in a social network via edge and node sampling is a vital part of the study of complex networks. Due to its low cost, sampling via a random walk (RW) has been proposed as an attractive solution to this task. Most RW methods assume either that the network is undirected or that walkers can traverse edges regardless of their direction. Some RW methods have been designed for directed networks where edges coming into a node are not directly observable. In this work, we propose Directed Unbiased Frontier Sampling (DUFS), a sampling method based on a large number of coordinated walkers, each starting from a node chosen uniformly at random. It is applicable to directed networks with invisible incoming edges because it constructs, in real-time, an undirected graph consistent with the walkers trajectories, and due to the use of random jumps which prevent walkers from being trapped. DUFS generalizes previous RW methods and is suited for undirected networks and to directed networks regardless of in-edges visibility. We also propose an improved estimator of node label distributions that combines information from the initial walker locations with subsequent RW observations. We evaluate DUFS, compare it to other RW methods, investigate the impact of its parameters on estimation accuracy and provide practical guidelines for choosing them. In estimating out-degree distributions, DUFS yields significantly better estimates of the head of the distribution than other methods, while matching or exceeding estimation accuracy of the tail. Last, we show that DUFS outperforms uniform node sampling when estimating distributions of node labels of the top 10% largest degree nodes, even when sampling a node uniformly has the same cost as RW steps.

연구 동기 및 목표

• 들어오는 간선이 보이지 않는 방향성 네트워크에서 표준 랜덤 워크가 전체 그래프를 탐색할 수 없게 되는 문제를 해결하기 위해.
• 기존의 랜덤 워크 샘플링 방법을 무방향 네트워크뿐 아니라 들어오는 간선이 숨겨진 경우를 포함한 방향성 네트워크에도 일반화하기 위해.
• 초기 워커 위치와 이후 워크 관찰치를 통합하여 노드 레이블 분포에 대한 개선된 추정량을 개발하기 위해.
• 추정 정확도를 최적화하기 위해 DUFS의 파라미터를 선택하는 데 실용적인 지침을 제공하기 위해.
• 단일 균일 노드 쿼리 비용이 랜덤 워크 단계 비용과 동일한 경우에도 DUFS가 균일 노드 샘플링을 초월하는가를 입증하기 위해.

제안 방법

• DUFS는 다수의 조율된 랜덤 워커를 사용하며, 각 워커는 균일하게 무작위로 선택된 노드에서 출발한다.
• 각 워커는 강하게 연결된 구성요소에 갇히는 것을 방지하기 위해 무작위 점프를 포함한 랜덤 워크를 수행한다.
• 이 방법은 모든 워커의 경로에서 실시간으로 무방향 그래프를 구성하여, 들어오는 간선이 숨겨진 방향성 네트워크에서도 편향 없는 샘플링이 가능하도록 한다.
• 초기 워커 위치와 이후 워크 관찰치의 정보를 통합하는 새로운 추정량을 도입하며, 이는 충분통계량 $ n_i + m_i $ 를 사용한다.
• 이 추정량은 피셔-네이먼 인수분해와 $ n_i + m_i $ 의 완전성에 기반한 레이만-셰프 정리에 의해 최소 분산 불편 추정량(MVUE)임을 증명한다.
• 이 방법은 프론티어 샘플링(FS)과 방향성 불편 랜덤 워크(DURW)를 일반화하여, 무방향 및 방향성 네트워크 양쪽에서 그 강점을 통합한다.

실험 결과

연구 질문

• RQ1 들어오는 간선이 관찰 불가능한 방향성 네트워크에서 효과적으로 작동하는 랜덤 워크 기반 샘플링 방법을 설계할 수 있는가?
• RQ2 강하게 연결된 구성요소에 갇히지 않으면서도 노드 레이블 분포의 추정을 편향 없이 유지하기 위해 랜덤 워크를 어떻게 수정할 수 있는가?
• RQ3 이러한 샘플링 프레임워크에서 노드 레이블 분포의 최소 분산 불편 추정량을 얻을 수 있는 추정량의 구조는 무엇인가?
• RQ4 샘플링 과정의 파라미터(예: 워커 수, 점프 확률)는 추정 정확도에 어떤 영향을 미치는가?
• RQ5 샘플링 비용이 동일한 경우에도 DUFS는 고도수 노드의 분포 추정 정확도에서 균일 노드 샘플링을 초월하는가?

주요 결과

• 기존의 랜덤 워크 방법에 비해 DUFS는 진동도 분포의 헤드 부분을 훨씬 더 우수하게 추정한다.
• 기존 방법과 비교해 DUFS는 진동도 분포의 꼬리 부분의 추정 정확도를 동등하거나 초월한다.
• 제안된 추정량은 충분통계량과 완전통계량에 기반한 이론적 보장이 있는 최소 분산 불편 추정량(MVUE)으로 증명되었다.
• 단일 균일 노드 쿼리 비용이 랜덤 워크 단계 비용과 동일한 경우에도 DUFS는 상위 10퍼센트의 최대 도수를 가진 노드의 레이블 분포 추정에서 균일 노드 샘플링을 능가한다.
• 이 방법은 방향성 및 무방향 네트워크 양쪽에서 뛰어난 내성과 함께 기존의 접근법(예: 프론티어 샘플링 및 DURW)을 일반화한다.
• 파라미터 민감도 분석을 통해 워커 수와 점프 확률를 조정하여 추정 정확도를 최적화하기 위한 실용적인 지침을 제공한다.