[논문 리뷰] Network Sampling: From Static to Streaming Graphs

Nesreen K. Ahmed, Jennifer Neville외 1명|arXiv (Cornell University)|2012. 11. 14.

Complex Network Analysis Techniques참고 문헌 88인용 수 51

한 줄 요약

이 논문은 정적 및 스트리밍 그래프 모델 전반에 걸쳐 일반화되는 그래프 유도 기반 샘플링 방법의 가족을 제안하며, 간선을 두 번만 스캔함으로써 위상적 성질을 효율적으로 유지합니다. 이 방법은 전통적 접근 방식보다 그래프 구조 유지 및 관계 분류 성능 정확도 추정에서 뛰어나며, 특히 작은 샘플 크기에서 유의미합니다.

ABSTRACT

Network sampling is integral to the analysis of social, information, and biological networks. Since many real-world networks are massive in size, continuously evolving, and/or distributed in nature, the network structure is often sampled in order to facilitate study. For these reasons, a more thorough and complete understanding of network sampling is critical to support the field of network science. In this paper, we outline a framework for the general problem of network sampling, by highlighting the different objectives, population and units of interest, and classes of network sampling methods. In addition, we propose a spectrum of computational models for network sampling methods, ranging from the traditionally studied model based on the assumption of a static domain to a more challenging model that is appropriate for streaming domains. We design a family of sampling methods based on the concept of graph induction that generalize across the full spectrum of computational models (from static to streaming) while efficiently preserving many of the topological properties of the input graphs. Furthermore, we demonstrate how traditional static sampling algorithms can be modified for graph streams for each of the three main classes of sampling methods: node, edge, and topology-based sampling. Our experimental results indicate that our proposed family of sampling methods more accurately preserves the underlying properties of the graph for both static and streaming graphs. Finally, we study the impact of network sampling algorithms on the parameter estimation and performance evaluation of relational classification algorithms.

연구 동기 및 목표

• 대규모이거나 변화하는, 또는 분산된 그래프를 효과적으로 다루지 못하는 네트워크 샘플링 방법의 격차를 해소한다.
• 실제 세계의 네트워크 동역학을 더 잘 반영하기 위해 정적 그래프에서 스트리밍 그래프에 이르는 통합된 계산 모델 스펙트럼을 개발한다.
• 정적 및 스트리밍 도메인 양쪽에서 핵심 위상적 성질(예: 차수 분포, 군집 계수)을 유지하는 샘플링 방법을 설계한다.
• 샘플링이 관계 분류 정확도 및 매개변수 추정에 미치는 영향을 평가하며, 특히 노드 레이블링 작업에서 중요하다.
• 기존의 샘플링 방법이 스트리밍 환경에서 부적절하다는 것을 입증하고, 확장 가능하며 두 번의 스캔만으로 작동하는 대안을 제안한다.

제안 방법

• 정적 및 스트리밍 계산 모델 전반에 걸쳐 샘플링 방법을 일반화하는 그래프 유도 프레임워크를 도입한다.
• 간선을 두 번만 스캔하는 것으로 I/O 비용을 최소화하는 그래프 유도 기반의 샘플링 알고리즘 가족을 설계한다.
• 기존의 노드, 간선, 위상 기반 샘플링 방법(예: 노드 샘플링, 간선 샘플링, 숲 불꽃 샘플링)을 그래프 유도 원리에 따라 스트리밍 그래프에 적응시킨다.
• 두 번의 스캔 알고리즘을 사용하여 간선을 샘플링하고 원본 그래프의 구조적 정밀도를 유지하는 부분 그래프를 유도한다.
• 샘플링 품질 평가를 위해 레이블이 부여된 부분 그래프에서 AUC를 기반으로 가중 투표 관계 이웃(wvRN) 분류기를 적용한다.
• 샘플링 방법을 AUC를 메트릭으로 사용하여 비교함으로써, 샘플 그래프가 전체 그래프의 진짜 분류 성능을 얼마나 잘 추정하는지 평가한다.

실험 결과

연구 질문

• RQ1 정적에서 스트리밍 그래프 모델에 이르는 스펙트럼 전반에 걸쳐 네트워크 샘플링 방법을 어떻게 일반화할 수 있는가?
• RQ2 기존의 샘플링 방법이 대규모 또는 스트리밍 그래프에서 위상적 성질을 얼마나 잘 유지하지 못하는가?
• RQ3 그래프 유도 기반 샘플링이 정적 및 스트리밍 환경에서 기존 방법보다 더 정확하게 핵심 그래프 성질(예: 차수 분포, 군집 계수)을 유지할 수 있는가?
• RQ4 샘플링이 관계 분류 알고리즘의 정확도에 어떤 영향을 미치며, 특히 부분적으로 레이블이 부여된 그래프에서 AUC를 추정할 때 어떻게 되는가?
• RQ5 어느 샘플링 전략이 작은 샘플 영역에서 클래스 사전 확률 추정과 분류 정확도 사이의 최적의 균형을 이룰 수 있는가?

주요 결과

• 제안된 그래프 유도 기반 샘플링 방법은 정적 및 스트리밍 그래프 양쪽에서 기존 방법보다 위상적 성질(예: 차수 분포, 군집 계수)을 더 정확하게 유지한다.
• 그래프 유도 기반의 ES-i 변종(간선 샘플링의 변종)은 30% 이하의 샘플 크기에서도 클래스 사전 확률 추정과 분류 정확도 사이의 균형을 가장 잘 유지한다.
• 기존의 방법들인 노드 샘플링 및 숲 불꽃 샘플링은 분류 성능(AUC)을 정확히 추정하지 못하며, 작은 샘플에서 강인하지 않다.
• ES-i 방법은 다른 방법보다 전체 그래프의 진짜 AUC에 더 빨리 수렴하며, 낮은 샘플 비율에서도 최소한의 편향을 보인다.
• 두 번의 스캔 샘플링 알고리즘은 대규모 그래프를 최소한의 I/O 오버헤드로 효율적으로 처리하여, 무작위 액세스가 비용이 많이 드는 스트리밍 환경에 적합하다.
• 제안된 방법을 사용할 경우, 샘플 그래프에서 추정한 관계 분류 정확도가 전체 그래프의 진짜 AUC와 매우 유사하게 유지되어, 그 대표성의 타당성이 입증된다.