[논문 리뷰] Entropic estimation of optimal transport maps

Aram-Alexandre Pooladian, Jonathan Niles‐Weed|arXiv (Cornell University)|2021. 09. 24.

Markov Chains and Monte Carlo Methods참고 문헌 49인용 수 6

한 줄 요약

이 논문은 엔트로피 정규화와 싱크호르의 알고리즘을 사용하여 확률 분포 간의 최적 운반 맵을 계산적으로 효율적으로 추정하는 방법을 제안한다. 엔트로피 결합의 바리세트릭 투영을 취하여 유한 표본 보장을 갖는 통계적 일致성을 확보함으로써, 고차원 또는 대규모 데이터셋에서 이전 방법보다 느린 기존의 최적 운반 맵 추정기의 계산 불가능성을 해결하며, 확장 가능한 대안을 제공한다.

ABSTRACT

We develop a computationally tractable method for estimating the optimal map between two distributions over $\mathbb{R}^d$ with rigorous finite-sample guarantees. Leveraging an entropic version of Brenier's theorem, we show that our estimator -- the \emph{barycentric projection} of the optimal entropic plan -- is easy to compute using Sinkhorn's algorithm. As a result, unlike current approaches for map estimation, which are slow to evaluate when the dimension or number of samples is large, our approach is parallelizable and extremely efficient even for massive data sets. Under smoothness assumptions on the optimal map, we show that our estimator enjoys comparable statistical performance to other estimators in the literature, but with much lower computational cost. We showcase the efficacy of our proposed estimator through numerical examples, even ones not explicitly covered by our assumptions. By virtue of Lepski's method, we propose a modified version of our estimator that is adaptive to the smoothness of the underlying optimal transport map. Our proofs are based on a modified duality principle for entropic optimal transport and on a method for approximating optimal entropic plans due to Pal (2019).

연구 동기 및 목표

• 고차원 또는 대규모 표본 크기에서 기존 최적 운반 맵 추정기의 계산 불가능성을 해결한다.
• 엔트로피 정규화와 싱크호르의 알고리즘을 사용하여 추정 가능한, 타당하고 확장 가능한 최적 운반 맵 추정 방법을 개발한다.
• 진짜 맵에 대한 부드러움 조건 하에서 제안된 추정기의 유한 표본 통계 수렴 보장을 제공한다.
• 대규모 데이터에서 효율적이고 병렬 처리 가능한 계산을 가능하게 하여 이론적 최적 운반 이론과 실용적 기계 학습 응용 간 격차를 메운다.
• 엔트로피 계획의 바리세트릭 투영과 브레니에르 정리 사이의 표준적인 연결을 구축하여, 표본 외 확장을 가능하게 한다.

제안 방법

• 최적 운반 문제의 엔트로피 정규화를 활용하여 원래의 몽게 문제를 계산적으로 다룰 수 있는 형태로 변형한다.
• 독립 동일분포 표본에서 유도된 경험 측도 간의 엔트로피 정규화된 결합을 효율적으로 계산하기 위해 싱크호르의 알고리즘을 사용한다.
• 엔트로피 결합에 대해 바리세트릭 투영을 적용하여, 입력 점을 결합 하에 조건부 기대값으로 매핑하는 맵 추정기를 얻는다.
• 엔트로피 최적 운반에서 이중 잠재함수의 도함수와 바리세트릭 투영 간의 이론적 연결을 구축하여 브레니에르 정리를 일반화한다.
• 팔(2019)의 수정된 이중성 원리와 근사 기법을 활용하여 추정기의 통계적 성질을 분석한다.
• 체이닝과 커버링 수의 논리적 접근을 사용하여 경험 과정을 유한 표본 위험 한계로 유도한다.

실험 결과

연구 질문

• RQ1 고차원 또는 대규모 데이터셋에서 계산적으로 효율적이면서도 통계적으로 일致하는 최적 운반 맵 추정기를 구성할 수 있는가?
• RQ2 엔트로피 결합의 바리세트릭 투영이 진짜 최적 운반 맵의 타당하고 일관된 추정기인가?
• RQ3 진짜 맵에 대한 부드러움 조건 하에서 이러한 추정기의 유한 표본 수렴 속도는 어떠한가?
• RQ4 시간 복잡도와 병렬 처리 가능성 측면에서 이 방법의 계산 효율성은 기존 최첨단 추정기와 비교해 어떻게 되는가?
• RQ5 바리세트릭 투영은 엔트로피 정규화 하에서 고전적 최적 운반 이론의 자연스러운 확장으로 해석될 수 있는가?

주요 결과

• 진짜 맵의 역함수 $T_0^{-1}$ 가 $\mathcal{C}^\alpha$ 부드러움을 가지며 $\alpha \in (1,3]$ 일 때, $d' = 2\lceil d/2 \rceil$ 이면 $\mathbb{E}\|\hat{T}-T_0\|_{L^2(P)}^2 \lesssim n^{-\frac{\alpha+1}{2(d'+\alpha+1)}}\log n$ 의 수렴 속도를 확보한다.
• 추정기는 계산적으로 효율적이며, 싱크호르의 알고리즘으로 인해 표본 수에 대해 제곱 시간 복잡도를 가지며, GPU에서 매우 높은 병렬 처리가 가능하다.
• 유한 표본 수렴 보장이 엔트로피 결합의 바리세트릭 투영에 대해 처음으로 확립되었으며, 이는 이전에는 히우리스틱적으로만 사용된 방법이다.
• 비록 최소 최대 최적 추정기보다 약간 느린 수렴 속도를 보이지만, 수치 벤치마크에서 통계적 정확도와 계산 속도 양면에서 기존 추정기들을 능가한다.
• 바리세트릭 투영이 엔트로피 최적 운반에서 이중 잠재함수의 도함수와 일치함을 입증하여 이론적 기반을 제공하고, 표본 외 예측을 가능하게 한다.
• 분석은 수정된 이중성 원리와 헬더 공간에 대한 커버링 수 한계에 기반하며, 상수는 $\varepsilon^{-d/2}$ 에 따라 달라지며, 정규화와 근사 오차 간의 상충 관계를 반영한다.