[논문 리뷰] Testing to distinguish measures on metric spaces

Andrew J. Blumberg, Prithwish Bhaumik외 1명|arXiv (Cornell University)|2018. 02. 04.

Topological and Geometric Data Analysis참고 문헌 15인용 수 4

한 줄 요약

이 논문은 측도 공간에서의 쌍체 거리와 Gromov의 mm-재구성 정리에 기반하여 비모수적 두 표본 가설 검정을 제안한다. 각 표본의 최소 행합 점에서의 거리 경험 분포에 대해 콜모고로프–스미르노프 검정을 적용함으로써, 기저 측도의 차이를 효율적으로 탐지할 수 있으며, 실제 인플루엔자 데이터와 합성 예제에서 에너지 검정보다 뛰어난 속도와 검정력(유의력)을 보여준다.

ABSTRACT

We study the problem of distinguishing between two distributions on a metric space; i.e., given metric measure spaces $({\mathbb X}, d, μ_1)$ and $({\mathbb X}, d, μ_2)$, we are interested in the problem of determining from finite data whether or not $μ_1$ is $μ_2$. The key is to use pairwise distances between observations and, employing a reconstruction theorem of Gromov, we can perform such a test using a two sample Kolmogorov--Smirnov test. A real analysis using phylogenetic trees and flu data is presented.

연구 동기 및 목표

• 비유클리드 거리 공간(예: 계통수 나무)에서 온 확률 측도로부터 유래한 데이터에 대해 두 표본 가설 검정 문제를 해결하기 위해.
• 모수적 가정을 피하고 유클리드 공간에 통합하는 대신 내재 기하학적 구조를 활용하는 방법을 개발하기 위해.
• 계산 비용이 높은 순열 기반 임계값 계산이 필요한 에너지 기반 검정에 대한 계산 효율성이 높은 대안을 제공하기 위해.
• 특히 다양한 계절의 인플루엔자 계통수 나무를 대상으로 실제 데이터에서 검증하여 생물학적 추론에의 유용성을 평가하기 위해.
• 측도가 척도나 위치만 다를 경우에도 높은 검정력을 유지하고, 프레셰 평균이 존재하지 않을 경우에도 강인한지 확인하기 위해.

제안 방법

• 거리 측도 공간을 등급 이sovmetry에 대해 쌍체 거리 분포로 특징짓는 Gromov의 mm-재구성 정리를 활용한다.
• 각 표본에 대해 거리 행렬 $ M_{ij} = d(x_i, x_j) $ 를 계산한 후, 행합 $ \sum_{i \neq j} d(x_j, x_i) $ 가 최소인 점 $ x_{i_X} $ 를 식별하여 프레셰 평균의 대체 지표로 사용한다.
• 두 번째 표본과 동일하게, $ i \neq i_X $ 인 $ d(x_{i_X}, x_i) $ 의 거리 경험 분포 함수를 구성한다.
• 두 경험 분포 함수에 대해 두 표본 콜모고로프–스미르노프 검정을 적용하여 기저 측도가 동일한지 평가한다.
• 최소 행합 점에서의 거리 분포가 동일하다면, 기저 측도는 등급 이sovmetry에 대해 동일하다는 사실을 활용한다.
• 실제 생물학적 데이터에서의 확장성을 위해 계통수 나무에서의 BHV 거리 계산을 위한 빠른 알고리즘을 적용한다.

실험 결과

연구 질문

• RQ1 일반적인 거리 공간에서 유한 표본과 쌍체 거리만을 사용하여 두 확률 측도를 구별할 수 있는가?
• RQ2 모수적 모델링을 피하고 계산 효율성이 높은 비모수적 두 표본 검정을 어떻게 구성할 수 있는가?
• RQ3 기저 측도가 척도나 위치만 다를 경우에도 제안된 검정이 높은 통계적 검정력을 유지하는가?
• RQ4 이 방법은 계통수 나무의 공간과 같은 비유클리드 공간에 효과적으로 적용될 수 있는가?
• RQ5 특히 대규모 데이터셋에서 두 표본 에너지 검정과 비교해 볼 때 제안된 검정의 검정력과 속도는 어떠한가?

주요 결과

• 1996년과 2007년의 인플루엔자 데이터를 비교할 때, 제안된 검정은 95% 유의수준에서 귀무가설을 기각하여 기저 측도가 다름을 확인하였다.
• 에너지 검정이 계산 비용이 높은 순열 기반 임계값 추정이 필요로 하므로, 제안된 검정은 그에 비해 뛰어난 계산 효율성을 보였다.
• 1996년 인플루엔자 시즌의 분할 데이터에 적용했을 때, 검정은 귀무가설을 기각하지 않아 한 시즌 내부의 일관성과 분포 안정성을 확인하였다.
• 표본 간 척도 차이를 탐지하는 데서 높은 검정력을 확보하였으며, 이러한 상황에서 에너지 검정을 능가하였다.
• 진짜 평균이 존재하지 않을 경우에도 프레셰 평균의 대체 지표로 최소 행합 점을 사용함으로써 강인한 검정이 가능했다.
• 최소 행합 점에서의 거리 분포 함수는 규칙적이고 잘 행동하는 것으로 나타나, 콜모고로프–스미르노프 검정 적용의 타당성을 뒷받침하였다.