[논문 리뷰] Average Distance Queries through Weighted Samples in Graphs and Metric Spaces: High Scalability with Tight Statistical Guarantees

Shiri Chechik, Edith Cohen외 1명|arXiv (Cornell University)|2015. 03. 30.

Complexity and Algorithms in Graphs참고 문헌 18인용 수 15

한 줄 요약

이 논문은 평균 거리와 밀도 중심성의 매우 스케일러블한 추정을 가능하게 하는 가중치 샘플링 프레임워크를 제안한다. 이는 통계적 보장을 강하게 확보한 채로 그래프 및 거리 공간에서 수행된다. O(ǫ⁻²)개의 샘플을 사용하는 보편적인 PPS(크기에 비례하는 확률) 샘플링 기반으로, 편향 없는 추정을 달성하며, 정규화된 평균 제곱오차 ≤ ǫ을 확보한다. 이는 오직 O(ǫ⁻²)개의 단일 소스 최단경로 계산만을 요구하여 대규모 네트워크 및 거리 공간 분석을 효율적으로 가능하게 한다.

ABSTRACT

The average distance from a node to all other nodes in a graph, or from a query point in a metric space to a set of points, is a fundamental quantity in data analysis. The inverse of the average distance, known as the (classic) closeness centrality of a node, is a popular importance measure in the study of social networks. We develop novel structural insights on the sparsifiability of the distance relation via weighted sampling. Based on that, we present highly practical algorithms with strong statistical guarantees for fundamental problems. We show that the average distance (and hence the centrality) for all nodes in a graph can be estimated using $O(ε^{-2})$ single-source distance computations. For a set $V$ of $n$ points in a metric space, we show that after preprocessing which uses $O(n)$ distance computations we can compute a weighted sample $S\subset V$ of size $O(ε^{-2})$ such that the average distance from any query point $v$ to $V$ can be estimated from the distances from $v$ to $S$. Finally, we show that for a set of points $V$ in a metric space, we can estimate the average pairwise distance using $O(n+ε^{-2})$ distance computations. The estimate is based on a weighted sample of $O(ε^{-2})$ pairs of points, which is computed using $O(n)$ distance computations. Our estimates are unbiased with normalized mean square error (NRMSE) of at most $ε$. Increasing the sample size by a $O(\log n)$ factor ensures that the probability that the relative error exceeds $ε$ is polynomially small.

연구 동기 및 목표

• 대규모 그래프 및 거리 공간에서 정확한 평균 거리 및 중심성 계산의 계산 비용이 지나치게 높아지는 문제를 해결한다.
• 최소한의 거리 계산을 통해 임의의 쿼리 점에서 모든 노드로의 평균 거리를 추정할 수 있는 방법을 개발한다.
• 편향 없는 추정과 정규화된 평균 제곱오차 ≤ ǫ이라는 강력한 통계적 보장을 제공하면서도 계산 비용을 최소화한다.
• 입력 크기 대비 부분선형 샘플 복잡도를 갖는 1-미디안 계산 및 전쌍 합 추정을 가능하게 한다.
• 재처리 없이도 거리 공간 내 임의의 쿼리 점에 대해 작동하는 보편적인 샘플링 전략을 설계한다.

제안 방법

• 거리 흐림 가능성을 거리 공간 내에서의 구조적 통찰에 기반한 보편적인 PPS(크기에 비례하는 확률) 샘플링 기반으로 도입한다.
• 노드 거리의 역수에 비례하는 확률을 갖는 가중 샘플링을 사용하여, 거리 분포의 대표성을 확보한다.
• 임의의 쿼리 점 v에 대해 W(v) = Σᵤ dist(v,u)를 추정하기 위해 O(n) 거리 계산에서 O(ǫ⁻²) 크기의 가중 샘플을 구성한다.
• 전체 쌍별 거리 행렬이 단일 소스 거리로부터 유도된 두 벡터의 외적 곱으로 근사될 수 있다는 사실을 활용한다.
• 통계적 농도 경계를 적용하여 샘플 크기를 O(log n)만큼 증가시키면, 상대 오차가 ǫ를 초과할 확률이 다항적으로 작아짐을 보여준다.
• 노드 중요도 가중치 β(v)에 따라 샘플링 확률를 조정함으로써 가중 중심성으로의 확장을 수행한다.

실험 결과

연구 질문

• RQ1 강력한 통계적 보장을 갖는 대규모 그래프 및 거리 공간에서 평균 거리와 밀도 중심성을 효율적으로 추정할 수 있는가?
• RQ2 평균 거리 추정에서 상대 오차 ǫ을 달성하기 위해 필요한 최소한의 단일 소스 거리 계산 수는 얼마인가?
• RQ3 임의의 쿼리 점에서의 평균 거리 추정에 사용할 수 있는 단일 고정된 가중 샘플이 존재하는가?
• RQ4 입력 크기의 부분선형 복잡도인 O(n + ǫ⁻²) 거리 계산을 통해 전쌍 거리 합을 오차 범위 내에서 근사할 수 있는가?
• RQ5 노드의 중요도가 다를 경우, 샘플링 전략은 어떻게 가중 중심성 측정에 적응하는가?

주요 결과

• 그래프 내 모든 노드에 대한 평균 거리는 오직 O(ǫ⁻²)개의 단일 소스 최단경로 계산만으로 추정 가능하며, 편향 없는 추정과 정규화된 평균 제곱오차 ≤ ǫ을 달성한다.
• 거리 공간 내 n개의 점에 대해, O(n) 거리 계산을 통해 O(ǫ⁻²) 크기의 가중 샘플을 사전에 계산하여, 임의의 쿼리 점에서의 빠른 평균 거리 추정을 가능하게 한다.
• 적절한 가중치를 갖는 O(ǫ⁻²)개의 쌍을 샘플링하여 O(n + ǫ⁻²)개의 거리 계산으로 전쌍 거리 합을 추정할 수 있다.
• 샘플 크기를 O(log n)만큼 증가시키면, 상대 오차가 ǫ를 초과할 확률이 다항적으로 작아진다.
• 샘플링 확률는 임의의 쿼리 점에 대해 효과적인 보편적인 PPS 체계를 형성하며, 전체 거리 행렬은 두 벡터의 외적 곱을 통해 랭크-1 행렬로 근사될 수 있다.
• 노드 가중치 β(v)에 따라 샘플링 확률를 조정함으로써 가중 중심성으로의 일반화가 가능하며, 동일한 오차 보장을 유지한다.