[논문 리뷰] All-Distances Sketches, Revisited: Scalable Estimation of the Distance Distribution and Centralities in Massive Graphs

Edith Cohen|arXiv (Cornell University)|2013. 06. 14.

Data Management and Algorithms참고 문헌 22인용 수 7

한 줄 요약

이 논문은 대규모 그래프에서 거리 기반 그래프 통계량을 고정된 오차와 낮은 분산으로 정확하게 추정할 수 있도록 All-Distances Sketches (ADS)용 역사적 역확률(HIP) 추정기들을 도입한다. HIP는 이전 추정기들에 비해 분산을 최대 절반으로 줄이며, HyperLogLog MinHash 스키치에서 추정 품질을 향상시켜 중심성 및 이웃의 기수 계산을 위한 통합적이고 확장 가능한 프레임워크를 제공한다.

ABSTRACT

Graph datasets with billions of edges, such as social and Web graphs, are prevalent, and scalable computation is critical. All-distances sketches (ADS) [Cohen 1997], are a powerful tool for scalable approximation of statistics. The sketch is a small size sample of the distance relation of a node which emphasizes closer nodes. Sketches for all nodes are computed using a nearly linear computation and estimators are applied to sketches of nodes to estimate their properties. We provide, for the first time, a unified exposition of ADS algorithms and applications. We present the Historic Inverse Probability (HIP) estimators which are applied to the ADS of a node to estimate a large natural class of statistics. For the important special cases of neighborhood cardinalities (the number of nodes within some query distance) and closeness centralities, HIP estimators have at most half the variance of previous estimators and we show that this is essentially optimal. Moreover, HIP obtains a polynomial improvement for more general statistics and the estimators are simple, flexible, unbiased, and elegant. For approximate distinct counting on data streams, HIP outperforms the original estimators for the HyperLogLog MinHash sketches (Flajolet et al. 2007), obtaining significantly improved estimation quality for this state-of-the-art practical algorithm.

연구 동기 및 목표

• 대규모 그래프 분석에서 All-Distances Sketches (ADS) 알고리즘과 그 응용에 대한 통합적 서술을 제공하는 것.
• 대규모 그래프에서 거리 관련 통계량에 대한 낮은 분산과 편향 없는 추정기의 부족을 해결하는 것.
• 그래프 중심성 분석에 핵심적인 이웃의 기수와 가까움 중심성을 향상된 정확도로 추정하는 것.
• 일반적이고 민첩한 추정기 프레임워크를 통해 ADS의 적용 범위를 다양한 종류의 그래프 통계량으로 확장하는 것.
• 특히 HyperLogLog MinHash 스키티치에 적합한 데이터 스트림에서의 약간의 고유 수 계산 성능을 향상시키는 것.

제안 방법

• 역사적 표본 확률을 활용하여 거리 통계량 추정의 분산을 줄이는 역사적 역확률(HIP) 추정기를 제안한다.
• 각 노드의 스키치가 더 가까운 노드를 선호하는 편향된 표본을 캡처하는 All-Distances Sketches (ADS)에 HIP를 적용한다.
• 이전 방법보다 훨씬 낮은 분산을 보이며 편향 없는 추정기를 설계하여, 특히 이웃의 기수와 가까움 중심성에서 유의미한 개선을 이룬다.
• 거리 분포에서 유도된 다양한 그래프 통계량을 포함한 광범위한 클래스의 통계량에 일반화 가능한 프레임워크를 도입한다.
• HIP가 HyperLogLog MinHash 스키티치에서 추정 품질을 향상시켜 실질적인 데이터 스트림 응용에서 원래 추정기들을 능가함을 입증한다.
• 모든 노드의 스키치를 구성하기 위해 거의 선형 시간 복잡도를 활용하여, 수십억 간선을 가진 그래프에서도 확장 가능한 성능을 확보한다.

실험 결과

연구 질문

• RQ1 All-Distances Sketches에 대해 다양한 그래프 통계량을 정확하게 추정할 수 있는 통합적이고 낮은 분산의 추정기를 개발할 수 있는가?
• RQ2 HIP 추정기는 이웃의 기수와 가까움 중심성에 대해 기존 추정기들과 비교해 분산과 정확도에서 어떻게 다른가?
• RQ3 HIP는 데이터 스트림에서의 약간의 고유 수 계산 성능을 얼마나 향상시킬 수 있는가, 특히 HyperLogLog MinHash 스키티치에서의 성능 향상은 어떠한가?
• RQ4 스키치 기반 추정에서 거리 기반 통계량에 대해 HIP 추정기는 분산 감소 측면에서 최적인가?
• RQ5 HIP 프레임워크는 낮은 계산 오버헤드로 광범위한 종류의 그래프 통계량에 대해 민첩하고 효율적으로 적용될 수 있는가?

주요 결과

• HIP 추정기는 이웃의 기수와 가까움 중심성에 대해 이전 추정기들에 비해 분산을 최대 절반으로 줄이며, 추정 정확도 향상이 뚜렷하다.
• HIP 추정기는 편향이 없고 일반적인 통계량에 대해 분산이 다항식 수준으로 향상됨을 증명하여 이론적·실용적 우수성을 입증한다.
• 연구된 통계량에 대해 HIP 프레임워크는 분산 감소 측면에서 거의 최적임이 입증되어 동일한 표본 모델 하에서 추가 개선 여지가 거의 없음을 시사한다.
• HIP는 약간의 고유 수 계산에서 원래 HyperLogLog MinHash 추정기들을 능가하며, 데이터 스트림 응용에서 훨씬 높은 추정 품질을 제공한다.
• 이 방법은 수십억 간선을 가진 대규모 그래프에서 모든 노드의 스키치를 거의 선형 시간 내에 계산 가능하게 하여 확장 가능한 성능을 보장한다.
• 통합 프레임워크는 다양한 그래프 통계량을 지원하여 대규모 네트워크에서 다양한 기반 거리 추정에 단일이고 우아한 솔루션을 제공한다.