[논문 리뷰] Graph Size Estimation

Maciej Kurant, Carter T. Butts외 1명|arXiv (Cornell University)|2012. 10. 01.

Complex Network Analysis Techniques참고 문헌 47인용 수 21

한 줄 요약

이 논문은 노드 샘플을 사용하여 그래프 크기 $N$ 를 추정하는 데 위한 새로운 방법인 IE(Induced Edges)를 제안하며, 랜덤 워크(RW) 샘플의 종속성 문제를 보완하기 위한 SafetyMargin 기법을 도입한다. IE와 SafetyMargin을 결합함으로써, 페이스북 데이터 기준으로 최신 기술 대비 샘플링 비용을 100배 이상 절감하면서도 높은 정확도를 확보한다.

ABSTRACT

Many online networks are not fully known and are often studied via sampling. Random Walk (RW) based techniques are the current state-of-the-art for estimating nodal attributes and local graph properties, but estimating global properties remains a challenge. In this paper, we are interested in a fundamental property of this type - the graph size N, i.e., the number of its nodes. Existing methods for estimating N are (i) inefficient and (ii) cannot be easily used with RW sampling due to dependence between successive samples. In this paper, we address both problems. First, we propose IE (Induced Edges), an efficient technique for estimating N from an independence sample of graph's nodes. IE exploits the edges induced on the sampled nodes. Second, we introduce SafetyMargin, a method that corrects estimators for dependence in RW samples. Finally, we combine these two stand-alone techniques to obtain a RW-based graph size estimator. We evaluate our approach in simulations on a wide range of real-life topologies, and on several samples of Facebook. IE with SafetyMargin typically requires at least 10 times fewer samples than the state-of-the-art techniques (over 100 times in the case of Facebook) for the same estimation error.

연구 동기 및 목표

• 완전한 데이터가 확보되지 않은 대규모 부분 관측 그래프에서 노드 총수 $N$ 을 추정하는 데 도전하는 것.
• 샘플 간 종속성이 발생하는 랜덤 워크(RW) 샘플링에 적합하지 않은 기존 방법의 비효율성과 적용 불가 문제를 해결하는 것.
• 온라인 소셜 네트워크 및 분산 시스템과 같은 실제 환경에서의 샘플링 제약 조건을 고려한 실용적이고 효율적인 $N$ 추정기 개발.
• 독립 샘플링이 불가능한 상황에서도 최소한의 샘플링 비용으로 정확한 그래프 크기 추정을 가능하게 하는 것.

제안 방법

• IE는 샘플된 노드들 사이에 유도된(edge-induced) 간선 수를 분석함으로써 $N$ 을 추정하며, 간선 밀도가 총 그래프 크기와 상관이 있음을 활용한다.
• SafetyMargin는 연속된 샘플 간 상관관계를 기반으로 한 마진 기반 보정을 통해 랜덤 워크 샘플의 종속성에 기인한 추정기 분산을 보정한다.
• IE와 SafetyMargin를 결합하여 샘플 간 종속성에도 불구하고 정확도를 유지하는 강력한, 랜덤 워크 호환 추정기를 구현한다.
• 비균일 샘플링 모델을 사용하며, 균일 및 비균일 노드 샘플링 상황을 모두 다룰 수 있도록 이론적 보정을 도출한다.
• O(n) 시간 복잡도를 갖는 최적화된 파이썬 구현체를 제공하여 대규모 그래프에 대한 효율적 구현을 가능하게 한다.
• 실제 세계의 네트워크 구조를 기반으로 한 시뮬레이션과, 균일 샘플링 및 랜덤 워크 샘플링을 모두 활용한 페이스북 데이터셋에 대한 실증 평가를 통해 프레임워크의 타당성을 검증한다.

실험 결과

연구 질문

• RQ1 독립 노드 샘플을 사용할 경우, 이전 기술보다 더 효율적으로 그래프 크기 $N$ 을 추정할 수 있는가?
• RQ2 기존 추정기들을 어떻게 개선하여 랜덤 워크에서 유도된 종속 샘플에도 효과적으로 적용할 수 있는가?
• RQ3 랜덤 워크 샘플링 하에서 편향과 분산을 신뢰성 있게 감소시킬 수 있는 보정 메커니즘은 무엇인가?
• RQ4 IE와 SafetyMargin를 결합함으로써, 페이스북과 같은 실제 네트워크에서 샘플링 효율성이 얼마나 향상되는가?

주요 결과

• IE에 SafetyMargin를 적용한 결과, 동일한 추정 오차를 유지할 경우 페이스북 데이터 기준으로 최신 기술 대비 샘플링 비용을 최소 10배, 최대 100배까지 절감한다.
• 페이스북’09 데이터에서, IE는 10배 적은 샘플로 NODE와 동일한 정확도를 달성하여 샘플링 비용을 10배 감소시킨다.
• 페이스북’10 데이터에서, IE와 SafetyMargin의 조합은 기존 표준 방법 대비 샘플링 비용을 100배 이상 감소시킨다.
• SafetyMargin는 랜덤 워크 샘플에서 높은 종속성이 존재하는 상황에서도 안정적이고 집중된 추정 결과를 생성하지만, 기존의 얇은 샘플링(Thinning) 기법은 안정화되지 않거나 의미 있는 결과를 도출하지 못한다.
• 이 방법은 페이스북’09에 대해 $N \approx 240M$ 를 성공적으로 추정하였으며, 페이스북의 공식 발표와 일치하여 정확도를 입증한다.
• 오픈소스 파이썬 구현체 덕분에 $O(n)$ 시간 복잡도를 확보하여 실제 환경에서의 확장성과 실용성을 확보한다.