[논문 리뷰] Sampling-based Estimation of In-degree Distribution with Applications to Directed Complex Networks

Nelson Antunes, Shankar Bhamidi외 3명|arXiv (Cornell University)|2018. 10. 02.

Complex Network Analysis Techniques참고 문헌 33인용 수 4

한 줄 요약

이 논문은 관측 가능한 외부 간선만 존재할 때 대규모 방향성 네트워크에서의 진입도 분포를 추정하기 위한 샘플링 기반 방법을 제안한다. 전체 진입도 분포를 정확하게 복원하기 위해, 주어진 분포의 역행렬 방법과 꼬리 부분에 대한 渐近적 방법을 조합하였으며, 시뮬레이션 및 실제 네트워크에서 15–20%의 샘플링 비율에서도 뛰어난 성능을 보였다. 특히, 30%의 점프 비율을 가진 무작위 보행 샘플링을 사용할 경우, 멱법칙 꼬리 분포를 가진 네트워크에서 더욱 뛰어난 성능을 발휘한다.

ABSTRACT

The focus of this work is on estimation of the in-degree distribution in directed networks from sampling network nodes or edges. A number of sampling schemes are considered, including random sampling with and without replacement, and several approaches based on random walks with possible jumps. When sampling nodes, it is assumed that only the out-edges of that node are visible, that is, the in-degree of that node is not observed. The suggested estimation of the in-degree distribution is based on two approaches. The inversion approach exploits the relation between the original and sample in-degree distributions, and can estimate the bulk of the in-degree distribution, but not the tail of the distribution. The tail of the in-degree distribution is estimated through an asymptotic approach, which itself has two versions: one assuming a power-law tail and the other for a tail of general form. The two estimation approaches are examined on synthetic and real networks, with good performance results, especially striking for the asymptotic approach.

연구 동기 및 목표

• 샘플링 과정에서 진입도의 관측 가능성이 제한된 대규모 방향성 네트워크에서의 진입도 분포를 추정하기 위해.
• 진입도의 관측 가능성이 제한되어 발생하는 조건이 나쁜 역행렬 문제를 다루기 위해.
• 진입도 분포의 주요 부분과 꼬리 부분을 모두 포괄하는 강건한 추정 프레임워크를 개발하기 위해.
• 멱법칙 및 비멱법칙적 구조를 포함한 다양한 네트워크 구조에서의 성능 평가를 위해.
• 실제 네트워크, 예를 들어 인용, 웹, 금융 네트워크 등에 적용 가능한 확장성 있고 계산 효율적인 방법을 제공하기 위해.

제안 방법

• 기본 샘플링 기법으로 랜덤 정점 샘플링(RVS)과 랜덤 간선 샘플링(RES)을 사용하여 샘플링 과정을 모델링한다.
• 진입도 분포의 추정을 진짜 진입도 분포에서 관측된 샘플 분포로 매핑하는 샘플링 행렬을 포함하는 선형 역문제로 모델링한다.
• 낮은 샘플링 비율에서 발생하는 역문제의 조건이 나쁜 문제를 완화하기 위해 정규화된 가중 최소제곱법을 적용한다.
• 진짜 꼬리 분포와 샘플된 꼬리 분포 간의 확률적 등가성에 기반한 渐近적 접근법을 사용한다.
• 두 가지 渐近적 변형을 개발한다: 멱법칙 꼬리를 가정하는 LINE(선형) 및 분포에 대한 가정이 없는 ASYM.
• 무작위 보행에 점프를 도입하여, 극한에서 균일 샘플링으로 수렴하는 현실적인 샘플링 기법을 시뮬레이션한다.

실험 결과

연구 질문

• RQ1 샘플링된 노드에서 외부 간선만 관측 가능할 때, 어떻게 신뢰할 수 있는 진입도 분포를 추정할 수 있는가?
• RQ2 무작위 보행에 점프를 도입한 등의 샘플링 기법이 진짜 진입도 분포의 구조를 얼마나 잘 유지하는가?
• RQ3 다양한 네트워크 유형에서 역행렬 기반 추정과 渐近적 꼬리 추정 간의 성능 비교는 어떻게 이루어지는가?
• RQ4 낮은 샘플링 비율(15–20%)에서도 전체 진입도 분포를 얼마나 잘 복원할 수 있는가?
• RQ5 무작위 보행의 점프 비율이 멱법칙 네트워크에서 꼬리 추정 정확도에 어떤 영향을 미치는가?

주요 결과

• 15–20%의 샘플링 비율에서 역행렬 방법이 진입도 분포의 주요 부분을 정확하게 복원한다.
• 특히 멱법칙 꼬리를 가정하는 LINE 방법을 사용한 渐近적 접근법은 무거운 꼬리 분포를 가진 네트워크에서 뛰어난 성능을 발휘한다.
• 멱법칙 네트워크의 경우, 30%의 점프 비율을 가진 무작위 보행 샘플링이 최적의 꼬리 추정 성능을 제공한다.
• 역행렬 방법은 무작위 보행 샘플링 기법과 점프 비율의 변화에 대해 강건하다.
• 역행렬과 渐近적 접근법을 조합한 방법은 아마존 공동구매 및 인용 네트워크를 포함한 시뮬레이션 및 실제 네트워크에서 전체 진입도 분포를 성공적으로 복원한다.
• 진입도가 샘플링 과정에서 직접 관측되지 않는 경우에도 계산 효율성이 높고 효과적인 성능 유지를 유지한다.