[논문 리뷰] On the Propagation of Low-Rate Measurement Error to Subgraph Counts in Large Networks

Prakash Balachandran, Eric D. Kolaczyk외 1명|arXiv (Cornell University)|2014. 09. 19.

Random Matrices and Applications참고 문헌 12인용 수 5

한 줄 요약

이 논문은 네트워크 구축 시 저속도 측정 오차가 부분그래프 카운트, 특히 간선 수에 어떻게 전파되는지 조사하며, 독립적이거나 약하게 종속된 오차 조건 하에서 추정된 간선 수와 진짜 간선 수의 차이가 스켈람 분포를 따르는 것으로 보여준다. 주요 기여는 스텔린의 방법을 사용한 엄밀한 확률적 특성화로, 이는 큰 네트워크에서 낮은 오차율일 경우 정규분포보다 스켈람 분포가 더 날카운 대체로 더 낮은 오차를 제공함을 보여준다.

ABSTRACT

Our work in this paper is inspired by a statistical observation that is both elementary and broadly relevant to network analysis in practice -- that the uncertainty in approximating some true network graph $G=(V,E)$ by some estimated graph $\hat{G}=(V,\hat{E})$ manifests as errors in the status of (non)edges that must necessarily propagate to any estimates of network summaries $η(G)$ we seek. Motivated by the common practice of using plug-in estimates $η(\hat{G})$ as proxies for $η(G)$, our focus is on the problem of characterizing the distribution of the discrepancy $D=η(\hat{G}) - η(G)$, in the case where $η(\cdot)$ is a subgraph count. Specifically, we study the fundamental case where the statistic of interest is $|E|$, the number of edges in $G$. Our primary contribution in this paper is to show that in the empirically relevant setting of large graphs with low-rate measurement errors, the distribution of $D_E=|\hat{E}| - |E|$ is well-characterized by a Skellam distribution, when the errors are independent or weakly dependent. Under an assumption of independent errors, we are able to further show conditions under which this characterization is strictly better than that of an appropriate normal distribution. These results derive from our formulation of a general result, quantifying the accuracy with which the difference of two sums of dependent Bernoulli random variables may be approximated by the difference of two independent Poisson random variables, i.e., by a Skellam distribution. This general result is developed through the use of Stein's method, and may be of some general interest. We finish with a discussion of possible extension of our work to subgraph counts $η(G)$ of higher order.

연구 동기 및 목표

• 네트워크 구축 시 측정 오차가 부분그래프 카운트, 특히 간선 수에 어떻게 전파되는지 이해하기.
• 추정된 네트워크 부분그래프 카운트와 진짜 카운트의 차이 분포를 공식적으로 특성화하기.
• 간선 수준의 측정 오차로 인한 네트워크 요약의 불확실성을 정량화하기 위한 확률적 프레임워크 개발하기.
• 스켈람 분포와 정규분포가 간선 수 차이를 근사할 때의 정확도를 비교하기.
• 분석을 고차원 부분그래프 카운트로 확장하여 간선 수를 초월한 일반화 가능성 제안하기.

제안 방법

• 간선 존재/부재 오차를 나타내는 종속된 베르누이 랜덤 변수의 합 두 개의 차이로 $ D_E = |\tilde{E}| - |E| $ 를 정의한다.
• 스텔린의 방법을 적용하여 종속된 베르누이 합의 차이를 스켈람 분포로 근사할 때의 오차 범위를 일반적으로 유도한다.
• 측정 오차율이 낮고 네트워크가 클 경우 스켈람 근사가 정규 근사보다 엄밀히 더 낮은 오차 범위를 제공하는 조건을 확립한다.
• 모멘트 기반 표현식과 지수 尾 근사법을 사용하여 근사 오차의 명시적 하한을 유도한다.
• 저오차율 가정 하에서 渐近 분석을 수행하여 희박한 네트워크 및 조밀한 네트워크 상황에서 스켈람 근사의 타당성을 검증한다.
• 조건부 모멘트와 잘라낸 기대값을 활용한 커플링 기법을 사용하여 스텔린 방법 프레임워크 내 오차를 통제한다.

실험 결과

연구 질문

• RQ1 네트워크 구축 시 저속도 측정 오차가 추정된 간선 수의 분포에 어떻게 영향을 미치는가?
• RQ2 큰 네트워크에서 진짜 간선 수와 추정된 간선 수의 차이를 스켈람 분포로 정확히 모델링할 수 있는가?
• RQ3 스켈람 근사가 간선 수 차이에 대해 정규 근사보다 우월한 조건은 무엇인가?
• RQ4 측정 오차의 종속성 구조가 부분그래프 수 근사의 정확도에 어떻게 영향을 미치는가?
• RQ5 제안된 프레임워크는 간선을 초월한 고차원 부분그래프 수로 얼마나 확장할 수 있는가?

주요 결과

• 큰 네트워크에서 독립적이거나 약하게 종속된 측정 오차 조건 하에서 간선 수의 차이 $ D_E = |\tilde{E}| - |E| $ 는 스켈람 분포로 잘 근사된다.
• 측정 오차율이 낮고 네트워크가 클 경우 스켈람 근사가 정규 근사보다 엄밀히 더 낮은 오차 범위를 제공한다.
• 명시적 하한을 유도하여 오차가 저오차율 가정 하에서 $ O(1/\text{네트워크 크기}) $ 의 속도로 渐近적으로 감소함을 보여준다.
• 스텔린의 방법을 통해 종속된 베르누이 합의 차이를 스켈람 분포로 근사하는 일반 결과를 확립하였으며, 정량화된 오차 범위를 제공한다.
• 프레임워크는 희박한 네트워크 및 조밀한 네트워크 상황 모두에서 안정적이며, 오차 범위는 거짓 양성 및 거짓 음성에 대한 오차율 $ \alpha $ 와 $ \beta $ 에 따라 달라진다.
• 분석 결과, 고차원 부분그래프 수로의 확장은 가능성이 있으나, 종속성 구조의 복잡도가 크게 증가함을 시사한다.