[논문 리뷰] On the Minimax Optimality of Estimating the Wasserstein Metric

Tengyuan Liang|arXiv (Cornell University)|2019. 08. 27.

Geometric Analysis and Curvature Flows참고 문헌 10인용 수 9

한 줄 요약

이 논문은 i.i.d. 표본을 사용하여 두 확률측도 간의 워셔스타인-1 거리 추정에 대해 최소최대 최적 속도를 확립한다. 이는 워셔스타인 거리 자체를 추정하는 것이 워셔스타인 거리 하에서 측도를 추정하는 것보다 크게 쉬운 일이 아님을 보여주며, 최소최대 속도는 $\log\log n / \log n$의 상수 인자 외에는 측도 추정 속도와 곱으로 동치이다. 이는 힐베르트 공간에서 평활화된 경험 측도를 기반으로 한 플러그인 추정량이 힐베르트 공간에서의 하우더 스무스성 조건 하에 이 인자 외에는 최소최대 최적임을 시사한다.

ABSTRACT

We study the minimax optimal rate for estimating the Wasserstein-$1$ metric between two unknown probability measures based on $n$ i.i.d. empirical samples from them. We show that estimating the Wasserstein metric itself between probability measures, is not significantly easier than estimating the probability measures under the Wasserstein metric. We prove that the minimax optimal rates for these two problems are multiplicatively equivalent, up to a $\log \log (n)/\log (n)$ factor.

연구 동기 및 목표

• i.i.d. 표본을 기반으로 두 알려지지 않은 확률측도 간의 워셔스타인-1 거리 추정에 대한 최소최대 최적 속도를 결정하는 것.
• 워셔스타인 거리 메트릭을 직접 추정하는 것이 워셔스타인 거리 하에서 기저 확률측도를 추정하는 것보다 더 쉬운가를 조사하는 것.
• 평활화된 경험 측도를 사용하는 플러그인 추정량이 워셔스타인 거리 추정에 대해 최적임을 평가하는 것.
• 메트릭 추정과 측도 추정 간의 난이도가 상수 인자 외에는 동일함을 확립하는 것.

제안 방법

• 확률측도의 밀도가 $[0,1]^d$ 상에서 $\mathsf{C}^\beta(M)$에 속하는 하우더 스무스성 클래스 $\mathcal{G}_\beta$ 를 사용한다.
• 총변동 거리에서는 가까운데 워셔스타인 거리에서는 다름을 보이는 두 측도 $p_0, p_1$ 를 사용한 두점 테스트 방법을 통해 하한을 유도한다.
• 편향과 분산을 제어하기 위해 웨이블릿 기반의 평활화를 사용한 플러그인 추정량을 통해 상한을 구성한다.
• 추정량은 $W(\widetilde{\mu}_m, \widetilde{\nu}_n) = \sup_{f \in \text{Lip}(1)} |\int f d\widetilde{\mu}_m - \int f d\widetilde{\nu}_n|$ 를 계산하며, 여기서 $\widetilde{\mu}_m, \widetilde{\nu}_n$ 은 웨이블릿 평활화된 경험 측도이다.
• 오차는 웨이블릿 계수의 추정 오차와 수준 $J$ 에서 웨이블릿 전개를 잘라내는 근사 오차로 분해되며, $2^{dJ} \asymp n^{1/(2\beta/d + 1)}$ 이 두 항을 균형 잡는다.
• 웨이블릿을 통한 베소프 공간 $\mathsf{B}^{1,\infty}_\infty$ 와 $\mathsf{B}^{\beta,\infty}_\infty$ 의 특성화를 활용하여 리프시츠 함수 위의 상한을 유 bounds 한다.

실험 결과

연구 질문

• RQ1 두 확률측도 간 워셔스타인-1 메트릭을 추정하는 것은 워셔스타인 거리 하에서 기저 측도를 추정하는 것보다 크게 쉬운가?
• RQ2 기저 측도가 하우더 스무스 밀도를 가질 때, $W(\mu, \nu)$ 를 추정하는 최소최대 최적 속도는 무엇인가?
• RQ3 평활화된 경험 측도를 기반으로 한 플러그인 방법 외의 추정량이 더 빠른 수렴 속도를 달성할 수 있는가?
• RQ4 워셔스타인 거리 하에서의 메트릭 추정 최소최대 속도는 밀도 추정 속도와 어떻게 비교되는가?
• RQ5 $\log\log n / \log n$ 상수 인자가 메트릭 추정과 측도 추정 간의 속도 동치성에서 어떤 역할을 하는가?

주요 결과

• 워셔스타인-1 거리 $W(\mu, \nu)$ 를 추정하는 최소최대 최적 속도는 $\asymp (n \wedge m)^{-(\beta+1)/(2\beta + d)}$ 이며, $\log\log(n \wedge m)/\log(n \wedge m)$ 인자 외에는 동치이다.
• 하한은 어떤 추정량도 $\asymp (n \wedge m)^{-(\beta+1)/(2\beta + d)} \cdot \log\log(n \wedge m)/\log(n \wedge m)$ 보다 더 빠른 속도를 달성할 수 없음을 보여준다.
• 웨이블릿 평활화된 플러그인 추정량을 통한 상한은 속도 $\precsim (n \wedge m)^{-(\beta+1)/(2\beta + d)}$ 를 달성하며, 이는 플러그인 접근법이 상수 인자 외에는 최소최대 최적임을 증명한다.
• 속도 동치성은 워셔스타인 메트릭을 추정하는 것이 워셔스타인 거리 하에서 기저 측도를 추정하는 것보다 크게 쉬운 일이 아님을 시사한다.
• 상수 인자 $\log\log n / \log n$ 는 두 문제 간의 속도 격차에서 피할 수 없으며, 이는 비-플러그인 추정량이 이 인자 외에는 더 빠른 속도를 향상시킬 수 없음을 나타낸다.
• 결과는 $d \geq 2$ 와 하우더 스무스성 조건 $\mathcal{G}_\beta$ 하에서 성립하며, 속도는 스무스성 $\beta$ 와 차원 $d$ 에 따라 달라진다.