[논문 리뷰] Empirical Optimal Transport between Different Measures Adapts to Lower Complexity

Shayan Hundrieser, Thomas Staudt외 1명|arXiv (Cornell University)|2022. 02. 21.

Markov Chains and Monte Carlo Methods인용 수 10

한 줄 요약

이 논문은 경험적 최적 운반(OT) 비용이 두 확률 측도 중 더 복잡도가 낮은 쪽에 의해 결정되는 속도로 수렴함을 입증하며, 이를 하위 복잡도 적응(Lower Complexity Adaptation, LCA)이라 칭한다. 리프시츠 비용의 경우, 한 측도가 $ d $-차원 다양체 위에 있을 때 수렴 속도는 최소 $ n^{-1/d} $ 이며, 반면 반볼록 비용의 경우 $ n^{-2/d} $ 으로 향상되며, 반산분리된 OT의 경우는 어떤 다른 측도의 복잡도에 관계없이 $ n^{-1/2} $ 이다.

ABSTRACT

The empirical optimal transport (OT) cost between two probability measures from random data is a fundamental quantity in transport based data analysis. In this work, we derive novel guarantees for its convergence rate when the involved measures are different, possibly supported on different spaces. Our central observation is that the statistical performance of the empirical OT cost is determined by the less complex measure, a phenomenon we refer to as lower complexity adaptation of empirical OT. For instance, under Lipschitz ground costs, we find that the empirical OT cost based on $n$ observations converges at least with rate $n^{-1/d}$ to the population quantity if one of the two measures is concentrated on a $d$-dimensional manifold, while the other can be arbitrary. For semi-concave ground costs, we show that the upper bound for the rate improves to $n^{-2/d}$. Similarly, our theory establishes the general convergence rate $n^{-1/2}$ for semi-discrete OT. All of these results are valid in the two-sample case as well, meaning that the convergence rate is still governed by the simpler of the two measures. On a conceptual level, our findings therefore suggest that the curse of dimensionality only affects the estimation of the OT cost when both measures exhibit a high intrinsic dimension. Our proofs are based on the dual formulation of OT as a maximization over a suitable function class $\mathcal{F}_c$ and the observation that the $c$-transform of $\mathcal{F}_c$ under bounded costs has the same uniform metric entropy as $\mathcal{F}_c$ itself.

연구 동기 및 목표

• 원천 및 목표 측도가 서로 다를 수 있고, 서로 다른 공간에 지지될 수 있는 경우 경험적 최적 운반(OT) 비용의 수렴 속도를 규명하는 것.
• 측도의 내재 차원이 경험적 OT 추정기의 통계적 성능에 미치는 영향을 조사하는 것.
• 수렴 속도가 배경 차원이 아니라 더 복잡도가 낮은 측도에 의해 결정되는 조건을 규명하는 것.
• 반산분리된 OT 및 일반 리프시츠 및 반볼록 비용 함수에 대해 수렴 속도에 대한 이론적 보장을 제공하는 것.
• 한 측도가 낮은 내재 차원을 가질 경우, 즉사적 차원 문제의 영향이 완화됨을 보여주는 것 — 다른 측도가 고차원일지라도 마찬가지로 적용됨.

제안 방법

• 함수 클래스 $ ilde{}_{c} $ 위에서의 OT 이중형식의 이론적 분석을 통해 균일한 메트릭 엔트로피 경계를 활용한다.
• $ ilde{}_{c} $의 $ c $-변환이 $ ilde{}_{c} $와 동일한 균일한 메트릭 엔트로피를 가지며, 이는 엔트로피 기반 수렴 제어를 가능하게 한다.
• 리프시츠, 반볼록, 반산분리된 OT 등의 다양한 비용 구조에 대해 메트릭 엔트로피 논증을 통해 수렴 속도를 도출한다.
• 더글러스의 엔트로피 적분과 대칭화 기법을 적용하여 경험적 OT 비용이 집단 값으로부터의 기대 이탈을 유계로 제한한다.
• 수렴 속도가 더 낮은 내재 차원을 가진 측도에 의해 결정됨을 이용하여, 다른 측도가 임의이거나 고차원일지라도 성립함을 보인다.
• 반산분리 및 다양체 설정에서의 시뮬레이션을 통해 이론적 결과를 검증하며, 예측된 渐近 수렴 속도가 확인된다.

실험 결과

연구 질문

• RQ1 경험적 OT 비용의 수렴 속도는 원천 및 목표 측도의 내재 차원에 어떻게 의존하는가?
• RQ2 다른 측도가 고차원 공간에 지지되어 있어도, 경험적 OT 비용이 더 단순한 측도의 복잡도에 적응할 수 있는가?
• RQ3 리프시츠 및 반볼록 비용 함수 하에서 경험적 OT의 수렴 속도는 무엇이며, 이는 지지의 차원에 어떻게 의존하는가?
• RQ4 반산분리된 OT 설정에서는 배경 차원에 관계없이 수렴 속도가 독립적인가? 만약 그렇다면 그 속도는 무엇인가?
• RQ5 특정 설정, 예를 들어 덧셈형 비용 함수에서 이론적 경계가 어떻게 강화되거나, 정확하지 않을 수 있는가?

주요 결과

• 리프시츠 비용의 경우, 한 측도가 $ d $-차원 다양체 위에 있을 때 수렴 속도는 $ n^{-1/d} $ 이며, 다른 측도의 복잡도에 관계없이 동일하다.
• 반볼록 비용의 경우 수렴 속도는 $ n^{-2/d} $ 으로 향상되며, 다시 한 번 낮은 차원의 측도에 의해 결정된다.
• 반산분리된 OT 설정에서는 수렴 속도가 $ n^{-1/2} $ 이며, 연속 공간의 차원이나 원자 수에 관계없이 독립적이다.
• 수렴 속도는 내재 차원이 더 낮은 측도에 의해 결정되며, 이를 하위 복잡도 적응(Lower Complexity Adaptation, LCA)이라 칭한다. 이는 차원의 저주를 완화시킨다.
• 시뮬레이션 결과 이론적 속도가 확인된다: 반산분리 설정에서 $ l_2^2 $ 및 $ l_1 $ 비용 하에 수렴 속도는 渐近적으로 $ n^{-1/2} $ 으로 느려진다.
• 이론적 경계는 많은 설정에서 날카롭지만, 덧셈형 비용과 같은 특수 케이스에서는 최적화되지 않을 수 있다. 이 경우 파arametric 수렴 속도 $ n^{-1/2} $ 는 달성되지만, 주요 정리에서는 이를 반영하지 않아 개선이 필요하다.