[논문 리뷰] Lower Complexity Adaptation for Empirical Entropic Optimal Transport

Michel Groppe, Shayan Hundrieser|arXiv (Cornell University)|2023. 06. 23.

Groundwater flow and contamination studiesEnvironmental Science인용 수 3

한 줄 요약

이 논문은 경험적 엔트로픽 최적 운반(EOT) 추정기들이 하위 복잡도 적응(LCA) 원칙을 만족함을 입증한다. 여기서 추정 오차는 두 기저 확률 측도 중 더 단순한 쪽에만 의존한다. 저자들은 비점점적 경계를 유도하여 표본 크기 $ n $ 에 대해 $ n^{-1/2} $ 의 비율을, 정규화 파라미터 $ \varepsilon $ 에 대해 $ \tilde{u}^{-d/2} $ 의 의존성을 보이며, 여기서 $ d $ 는 더 단순한 측도의 차원이다. 이는 경험적 시뮬레이션과 경험적 과정 이론 및 단일 함수 클래스에 대한 쌍대 공식화를 통한 이론적 분석을 통해 확인된다.

ABSTRACT

Entropic optimal transport (EOT) presents an effective and computationally viable alternative to unregularized optimal transport (OT), offering diverse applications for large-scale data analysis. In this work, we derive novel statistical bounds for empirical plug-in estimators of the EOT cost and show that their statistical performance in the entropy regularization parameter $ε$ and the sample size $n$ only depends on the simpler of the two probability measures. For instance, under sufficiently smooth costs this yields the parametric rate $n^{-1/2}$ with factor $ε^{-d/2}$, where $d$ is the minimum dimension of the two population measures. This confirms that empirical EOT also adheres to the lower complexity adaptation principle, a hallmark feature only recently identified for unregularized OT. As a consequence of our theory, we show that the empirical entropic Gromov-Wasserstein distance and its unregularized version for measures on Euclidean spaces also obey this principle. Additionally, we comment on computational aspects and complement our findings with Monte Carlo simulations. Our techniques employ empirical process theory and rely on a dual formulation of EOT over a single function class. Crucial to our analysis is the observation that the entropic cost-transformation of a function class does not increase its uniform metric entropy by much.

연구 동기 및 목표

• 일반 조건 하에서 엔트로픽 최적 운반(EOT) 비용의 경험적 플러그인 추정기의 통계적 수렴 속도를 확립하기 위해.
• 경험적 EOT 추정기가 이전에 비정규화된 OT에서만 알려진 하위 복잡도 적응(LCA) 원칙을 따르는지 조사하기 위해.
• 추정 오차가 표본 크기 $ n $ 과 엔트로피 정규화 파라미터 $ \varepsilon $ 에 어떻게 의존하는지 분석하기 위해, 특히 고차원 설정에서의 경우를 중심으로 하기 위해.
• LCA 원칙을 경험적 엔트로픽 그로모프-워셔스타인 거리와 유클리드 공간 내의 싱크혼 발산으로 확장하기 위해.
• 실제 응용에서 싱크혼 알고리즘이 보이는 계산 효율성에 대한 이론적 근거를 제공하고, 이를 통계적 적응성과 연결하기 위해.

제안 방법

• 경험적 과정 이론을 사용하여 경험적 EOT 비용의 평균 절대편차에 대한 비점점적 상한을 유도한다.
• 단일 함수 클래스에 대한 EOT의 쌍대 공식화를 활용하여 함수 클래스의 엔트로픽 비용 변환을 분석한다.
• 핵심 기술적 통찰: 엔트로픽 비용으로 변환된 함수 클래스의 균일한 지표 엔트로피는 원래 클래스에 비해 약간만 증가한다.
• 지표 엔트로피 기반의 농도 부등식을 적용하여 경험적 추정기와 진짜 EOT 비용 사이의 편차를 통제한다.
• 유계 및 부분적으로 비유계 비용 함수를 고려하며, 후자의 경우 제곱 유클리드 노름과 서브가우시안 측도로 제한된다.
• 큐브, 반연속적, 유클리드 설정에서의 몬테카를로 시뮬레이션을 통해 이론적 결과를 검증하며, 싱크혼 발산 포함.

실험 결과

연구 질문

• RQ1 경험적 EOT 비용 추정기는 추정 오차가 두 측도 중 더 단순한 쪽에만 의존하는 하위 복잡도 적응(LCA) 원칙을 만족하는가?
• RQ2 추정 오차가 표본 크기 $ n $ 과 정규화 파라미터 $ \varepsilon $ 에 대해 정확히 어떻게 의존하는가? 특히 고차원에서의 경우에 대해.
• RQ3 LCA 원칙은 경험적 엔트로픽 그로모프-워셔스타인 거리와 싱크혼 발산으로 확장될 수 있는가?
• RQ4 엔트로픽 비용으로 변환된 함수 클래스의 균일한 지표 엔트로피는 어떻게 행동하는가? 그리고 추정 오차를 통제하는 데 어떤 역할을 하는가?
• RQ5 EOT에 대해 $ n^{-1/2} $ 의 파arametric 수렴 속도는 날카로운가? 그리고 $ \varepsilon $-의존성은 오차 상한의 상수에 어떻게 영향을 주는가?

주요 결과

• 경험적 EOT 비용 추정기는 $ n^{-1/2} $ 의 파라미터 수렴 속도를 달성하며, 오차는 더 단순한 측도의 차원 $ d $ 에 대해 $ \varepsilon^{-d/2} $ 에 의존한다. 이는 LCA 원칙을 확인한다.
• 유계 비용의 경우, 엔트로픽 비용으로 변환된 함수 클래스의 지표 엔트로피 경계를 통해 추정 오차가 통제되며, 이는 변환에 의해 극히 미약하게 증가한다.
• 이론적 및 시뮬레이션 결과를 통해 LCA 원칙은 유클리드 공간 내 경험적 엔트로픽 그로모프-워셔스타인 거리와 싱크혼 발산으로도 확장됨을 보여준다.
• 큐브 및 반연속적 설정에서의 시뮬레이션은 $ n^{-1/2} $ 수렴 속도를 확인하며, 높은 차원성 또는 더 많은 점들이 추정 오차를 감소시킬 수 있음을 시사한다. 이는 특정 구성에서의 구조적 이점이 있음을 시사한다.
• 싱크혼 알고리즘은 $ \mathcal{O}(n^{2.5}) $ 번의 연산으로 경험적 EOT 비용을 계산하며, 사전 지식 없이도 더 단순한 측도의 내재된 복잡도에 자동으로 적응한다.
• 고정된 $ \varepsilon > 0 $ 에 대해 $ n^{-1/2} $ 수렴 속도는 $ n $ 에 대해 날카롭게 유지되지만, 상수 내부의 정확한 $ \varepsilon $-의존성은 여전히 열려 있는 문제이며, 비록 비용 함수가 유계일 경우 $ \varepsilon^{-d/2} $ 스케일링이 입증되었지만 말이다.