[논문 리뷰] Two-sample Test using Projected Wasserstein Distance: Breaking the Curse of Dimensionality.

Jie Wang, Rui Gao외 1명|arXiv (Cornell University)|2020. 10. 22.

Anomaly Detection Techniques and Applications참고 문헌 41인용 수 4

한 줄 요약

이 논문은 두 샘플 검증에서 차원의 저주를 극복하기 위해 저차원 선형 투영을 최적화하여 투영된 분포 간의 워샤르스키 거리를 최대화하는 투영된 워샤르스키 거리를 제안한다. 이 방법은 유한 표본 수렴 속도를 향상시키고 고차원에서 검증력도 유지하며, 이론적 보장과 실용적인 알고리즘을 제공한다.

ABSTRACT

We develop a projected Wasserstein distance for the two-sample test, a fundamental problem in statistics and machine learning: given two sets of samples, to determine whether they are from the same distribution. In particular, we aim to circumvent the curse of dimensionality in Wasserstein distance: when the dimension is high, it has diminishing testing power, which is inherently due to the slow concentration property of Wasserstein metrics in the high dimension space. A key contribution is to couple optimal projection to find the low dimensional linear mapping to maximize the Wasserstein distance between projected probability distributions. We characterize the theoretical property of the finite-sample convergence rate on IPMs and present practical algorithms for computing this metric. Numerical examples validate our theoretical results.

연구 동기 및 목표

• 차원이 증가할수록 성능이 떨어지는 워샤르스키 기반 두 샘플 검증에서 차원의 저주를 해결한다.
• 데이터를 저차원 부분공간으로 투영하여 고차원 환경에서도 통계적 검증력을 유지하는 방법을 개발한다.
• 투영된 분포 간의 워샤르스키 거리를 최대화하는 투영 방향을 최적화한다.
• 적분 확률 거리 측도(IPMs) 프레임워크 내에서 제안된 거리의 유한 표본 수렴 속도를 이론적으로 확립한다.
• 실세계 응용에서 투영된 워샤르스키 거리를 계산하기 위한 실용적인 알고리즘을 제공한다.

제안 방법

• 고차원 데이터에 최적의 선형 투영을 적용한 후 워샤르스키 거리를 계산하여 투영된 워샤르스키 거리를 도입한다.
• 투영 최적화 문제를 그라스만 다양체 위에서 최대화 문제로 공식화하여 투영된 경험 측도 간의 워샤르스키 거리를 최대화하는 방향을 찾는다.
• 적분 확률 거리 측도(IPMs) 이론을 활용하여 투영된 거리의 유한 표본 수렴 속도를 유도한다.
• 실무에서 최적의 투영 방향을 효율적으로 계산하기 위해 확률적 경량 최적화 기반 접근법을 사용한다.
• 약한 정규성 조건 하에서 투영된 워샤르스키 거리의 농도 성질을 분석하여 이론적 일致성을 확보한다.
• 유의수준 제어와 고차원에서의 향상된 검증력을 확보하는 두 샘플 가설 검정에 투영된 거리를 통합한다.

실험 결과

연구 질문

• RQ1 최적의 선형 투영이 고차원 두 샘플 검증에서 워샤르스키 거리의 유한 표본 수렴 속도를 향상시킬 수 있는가?
• RQ2 투영된 워샤르스키 거리를 최대화하는 것이 표준 워샤르스키 거리 대비 고차원에서 더 높은 검증력을 제공하는가?
• RQ3 다양한 분포 가정 하에서 유의수준 제어 및 검증력 측면에서 제안된 방법의 성능은 어떠한가?
• RQ4 투영된 워샤르스키 거리의 이론적 유한 표본 수렴 속도는 IPM 가족의 구성원으로서 어떻게 되는가?
• RQ5 실무에서 이 방법은 효율적으로 계산될 수 있으며, 차원과 표본 크기와의 스케일링은 어떻게 되는가?

주요 결과

• 투영된 워샤르스키 거리는 고차원 설정에서 표준 워샤르스키 거리보다 더 빠른 유한 표본 수렴 속도를 달성한다.
• 최적의 투영은 두 샘플 검증에서 차원의 저주를 완화시켜 검증력을 크게 향상시킨다.
• 귀무가설 하에서 타당한 유의수준 제어를 유지하여 통계적 신뢰성을 확보한다.
• 이론적 분석을 통해 투영된 거리가 IPM 가족에 속하고 유리한 농도 성질을 상속함을 확인한다.
• 수치 실험을 통해 다양한 고차원 분포에서 기준 워샤르스키 거리 대비 일관된 성능 향상을 입증한다.
• 제안된 알고리즘은 확률적 최적화를 사용하여 최적의 투영 방향을 효율적으로 계산하여 고차원 데이터로의 확장성을 보장한다.