[논문 리뷰] Estimation of Wasserstein distances in the Spiked Transport Model

Jonathan Niles‐Weed, Philippe Rigollet|arXiv (Cornell University)|2019. 09. 16.

Markov Chains and Monte Carlo Methods인용 수 9

한 줄 요약

이 논문은 두 확률 분포가 유일하게 저차원 부분공간에서만 다름을 가정하는 통계적 프레임워크인 스파이크드 트랜스포트 모델을 제안한다. 이는 워셔슈타인 거리의 효율적 추정을 가능하게 하며, 저차원 구조를 고려할 경우, 워셔슈타인 거리의 추정 속도가 거의 최소최대 최적의 수준에 도달함을 보여주며, 차원의 극복 문제를 피할 수 있다. 또한, 이 모델 하에서 계산적으로 효율적인 추정기들이 이러한 저차원 구조를 활용할 수 없다는 통계-계산 갭의 증거를 제시한다.

ABSTRACT

We propose a new statistical model, the spiked transport model, which formalizes the assumption that two probability distributions differ only on a low-dimensional subspace. We study the minimax rate of estimation for the Wasserstein distance under this model and show that this low-dimensional structure can be exploited to avoid the curse of dimensionality. As a byproduct of our minimax analysis, we establish a lower bound showing that, in the absence of such structure, the plug-in estimator is nearly rate-optimal for estimating the Wasserstein distance in high dimension. We also give evidence for a statistical-computational gap and conjecture that any computationally efficient estimator is bound to suffer from the curse of dimensionality.

연구 동기 및 목표

• 워셔슈타인 거리 추정을 가능하게 하는 확률 분포의 저차원 구조를 체계화하는 것.
• 스파이크드 트랜스포트 모델 하에서 워셔슈타인 거리 추정의 최소최대 최적 속도를 확립하는 것.
• 저차원 구조가 없는 상황에서 플러그인 추정기가 거의 속도 최적임을 보여주며, 차원의 극복 문제를 확인하는 것.
• 스파이크드 트랜스포트 모델 하에서 워셔슈타인 거리 추정에 대해 통계-계산 갭이 존재하는지 조사하는 것.

제안 방법

• 두 분포가 유일하게 저차원 부분공간에서만 다름을 가정하는 스파이크드 트랜스포트 모델을 제안하며, 이는 최적 운반 이론에서 흔히 가정되는 조건을 체계화한다.
• 고차원 데이터를 저차원 부분공간으로 투영하여 워셔슈타인 거리를 효율적으로 추정하는 방법인 워셔슈타인 프로젝션 퍼스위트(WPP)를 도입한다.
• 프로젝션 퍼스위트 기법을 활용해 저차원 구조를 이용함으로써, 스파이크드 트랜스포트 모델 하에서 WPP가 거의 최적의 추정 속도를 달성함을 보여준다.
• 통계 질의 프레임워크를 적용하여 통계-계산 갭에 대한 증거를 제공하며, 계산적으로 효율적인 추정기들이 최적이지만 비가역적인 WPP와 같은 속도를 달성할 수 없다는 것을 시사한다.
• 집중 불등식과 운반-엔트로피 불등식을 사용하여, 모델 하에서 워셔슈타인 거리의 서브가우시안 尾 확률을 유도한다.
• 최적의 쌍정의와 특이값 분해을 활용하여, 부분공간 간의 정렬이 스파이크드 트랜스포트 모델에서 추정 오차와 어떻게 관련되는지 분석한다.

실험 결과

연구 질문

• RQ1 저차원 구조 가정 하에서 워셔슈타인 거리 추정의 차원의 극복 문제를 극복할 수 있는가?
• RQ2 스파이크드 트랜스포트 모델 하에서 워셔슈타인 거리 추정의 최소최대 속도는 무엇인가?
• RQ3 워셔슈타인 거리 추정에 대해 통계-계산 갭이 존재하는가? 즉, 효율적인 추정기들이 최적의 속도를 달성할 수 없는가?
• RQ4 고차원 설정에서 플러그인 추정기는 더 정교한 방법들에 비해 어떻게 비교되는가?
• RQ5 프로젝션 기반 방법들인 WPP는 저차원 구조를 얼마나 잘 활용하여 추정 속도를 향상시킬 수 있는가?

주요 결과

• 스파이크드 트랜스포트 모델 하에서, 워셔슈타인 거리의 추정 속도가 차원의 극복 문제를 피하며 거의 최소최대 최적의 수준에 도달함을 보였다.
• 저차원 구조가 없는 상황에서 플러그인 추정기가 거의 속도 최적임이 입증되었으며, 이는 $n^{-1/d}$ 속도가 본질적으로 최소최대 최적임을 확인한다.
• 제안된 워셔슈타인 프로젝션 퍼스위트(WPP) 추정기는 저차원 부분공간의 구조를 이용함으로써 거의 최적의 속도를 달성한다.
• 강력한 증거에 기반해 통계-계산 갭이 존재함을 시사한다: 계산적으로 효율적인 추정기들은 스파이크드 트랜스포트 모델 하에서 최적의 속도를 달성할 수 없다.
• 진짜 부분공간과 추정된 부분공간 간의 정렬은 투영된 워셔슈타인 거리의 추정 오차로 정량적으로 제한된다.
• 분석을 통해 스파이크드 모델에서 두 분포 간 최적의 쌍정의가 이동량을 유일하게 저차원 부분공간에 집중시킴을 규명하였으며, 이는 효율적 추정을 가능하게 한다.