[논문 리뷰] Graph Sample and Hold: A Framework for Big-Graph Analytics

Nesreen K. Ahmed, Nick Duffield외 2명|arXiv (Cornell University)|2014. 03. 16.

Complex Network Analysis Techniques참고 문헌 43인용 수 38

한 줄 요약

이 논문은 대규모 그래프 분석을 위한 단일 패assing 스트리밍 프레임워크인 Graph Sample and Hold (gSH)을 소개한다. gSH는 소규모 샘플 상태를 유지함으로써 다수의 그래프 성질에 대한 편향 없는 추정을 가능하게 한다. 엣지별 샘플링 확률을 사용한 Horvitz-Thompson 추정을 통해, 실제 그래프에서 40,000개 이하의 엣지를 샘플링한 경우에도 상대 오차가 0.02–0.95%로 매우 낮게 유지되며, 기존 방법들에 비해 정확도와 저장 공간 효율성에서 뛰어난 성능을 발휘한다.

ABSTRACT

Sampling is a standard approach in big-graph analytics; the goal is to efficiently estimate the graph properties by consulting a sample of the whole population. A perfect sample is assumed to mirror every property of the whole population. Unfortunately, such a perfect sample is hard to collect in complex populations such as graphs (e.g. web graphs, social networks etc), where an underlying network connects the units of the population. Therefore, a good sample will be representative in the sense that graph properties of interest can be estimated with a known degree of accuracy. While previous work focused particularly on sampling schemes used to estimate certain graph properties (e.g. triangle count), much less is known for the case when we need to estimate various graph properties with the same sampling scheme. In this paper, we propose a generic stream sampling framework for big-graph analytics, called Graph Sample and Hold (gSH). To begin, the proposed framework samples from massive graphs sequentially in a single pass, one edge at a time, while maintaining a small state. We then show how to produce unbiased estimators for various graph properties from the sample. Given that the graph analysis algorithms will run on a sample instead of the whole population, the runtime complexity of these algorithm is kept under control. Moreover, given that the estimators of graph properties are unbiased, the approximation error is kept under control. Finally, we show the performance of the proposed framework (gSH) on various types of graphs, such as social graphs, among others.

연구 동기 및 목표

• 제한된 계산 자원으로 대규모 그래프에서 다수의 그래프 성질을 효율적으로 추정하는 문제에 대응하기 위해.
• 소규모이고 동적으로 유지되는 샘플을 사용하여 다양한 그래프 성질에 대한 편향 없는 추정을 지원하는 일반적인 샘플링 프레임워크를 설계하기 위해.
• 삼각형 수, 노드의 차수, 부분그래프 빈도와 같은 그래프 지표에 대해 증명 가능하고 분산 경계와 신뢰구간을 갖는 추정 정확도를 확보하기 위해.
• 실제 그래프인 소셜 네트워크 및 웹 네트워크와 같은 실세계 그래프에서 기존 스트리밍 알고리즘보다 추정 정확도와 저장 공간 효율성에서 뛰어난 성능을 내기 위해.
• 동적 또는 정적 스트리밍 환경에서 그래프 분석을 위한 편향 없는 추정기의 확장 가능하고 병렬 처리 가능한 계산을 가능하게 하기 위해.

제안 방법

• gSH는 엣지를 단일 패assing으로 순차적으로 처리하며, 샘플링된 엣지와 각각의 개별 샘플링 확률을 추적하는 소규모 상태를 유지한다.
• 프레임워크는 매개변수화된 샘플링 규칙을 사용한다: 인접한 샘플링된 엣지가 없는 경우 엣지는 확률 $p$로 샘플링되고, 그렇지 않은 경우 확률 $q$로 샘플링된다. 이는 샘플 구성에 대한 제어를 가능하게 한다.
• 편향 없는 그래프 성질 추정기는 Horvitz-Thompson 가중치를 사용하여 구성되며, 각 샘플링된 부분그래프의 기여도는 그들의 공동 엣지 선택 확률의 역수로 조정된다.
• 추정기의 분산은 선택된 엣지의 샘플링 확률에서 직접 계산되며, 추가 저장소 없이도 신뢰구간 추정이 가능하다.
• 프레임워크는 분산 추정기의 병렬 계산을 지원하여 대규모 그래프에서 런타임을 크게 단축시킨다.
• 샘플링 전략은 고차수 노드나 균일한 노드 샘플링을 우선시하도록 조정할 수 있어, 노드별 삼각형 수와 같은 성질의 타겟된 추정을 가능하게 한다.

실험 결과

연구 질문

• RQ1 단일 패assing, 스트리밍 샘플링 프레임워크가 최소한의 저장 공간 오버헤드로 다수의 그래프 성질에 대해 편향 없는 추정기를 제공할 수 있는가?
• RQ2 샘플링 매개변수 $p$와 $q$의 선택이 실세계 그래프에서 샘플의 대표성과 크기에 어떤 영향을 미치는가?
• RQ3 gSH는 최신 스트리밍 알고리즘인 Streaming-Triangles에 비해 추정 오차를 얼마나 줄이는가?
• RQ4 gSH는 총 엣지 수의 1% 미만으로 샘플을 사용하면서도 상대 오차를 낮게 유지할 수 있는가 (예: <1%)?
• RQ5 gSH 프레임워크 내에서 분산 추정기와 신뢰구간이 얼마나 효율적으로 병렬 처리될 수 있는가?

주요 결과

• gSH는 페이스북 및 웹 그래프를 포함한 실세계 그래프에서 최대 40,000개의 엣지를 사용한 샘플로 상대 오차가 0.02%에서 0.95% 사이로 매우 낮게 유지된다.
• 프레임워크는 삼각형 수, 노드의 차수, 부분그래프 빈도의 네 가지 핵심 그래프 성질에 대해 편향 없는 추정기를 생성하며, 분산 추정기는 샘플링 확률에서 직접 유도된다.
• gSH는 삼각형 수 추정에 특화된 Streaming-Triangles 알고리즘에 비해 상대 오차를 수 개의 주기수로 감소시킨다.
• gSH의 저장 공간 오버헤드는 Streaming-Triangles 알고리즘보다 크게 작으며, 정확한 결과를 얻기 위해 128,000개 이상의 엣지 추정기가 필요한 반면 gSH는 이를 훨씬 초과하지 않는다.
• 샘플 크기가 증가할수록 오차는 진정으로 줄어들며, 실제 값 주변에 중심이 맞춰지고 균형 잡힌 분포를 이룬다.
• gSH에서 분산 계산의 병렬 처리는 런타임을 크게 감소시켜 대규모 그래프에서의 확장 가능한 배포를 가능하게 한다.