[논문 리뷰] Entropic Optimal Transport between Unbalanced Gaussian Measures has a Closed Form

Hicham Janati, Boris Muzellec외 2명|arXiv (Cornell University)|2020. 06. 03.

Probabilistic and Robust Engineering Design참고 문헌 46인용 수 31

한 줄 요약

논문은 가우시안 측정 간의 엔트로피-정규화 최적 수송에 대한 닫힌 형식 공식을 제시하며, 불균형 케이스를 포함하고, 최적 수송 계획이 가우시안이며 Sinkhorn 반복의 고정점 특성이 해석적으로 구해진다.

ABSTRACT

Although optimal transport (OT) problems admit closed form solutions in a very few notable cases, e.g. in 1D or between Gaussians, these closed forms have proved extremely fecund for practitioners to define tools inspired from the OT geometry. On the other hand, the numerical resolution of OT problems using entropic regularization has given rise to many applications, but because there are no known closed-form solutions for entropic regularized OT problems, these approaches are mostly algorithmic, not informed by elegant closed forms. In this paper, we propose to fill the void at the intersection between these two schools of thought in OT by proving that the entropy-regularized optimal transport problem between two Gaussian measures admits a closed form. Contrary to the unregularized case, for which the explicit form is given by the Wasserstein-Bures distance, the closed form we obtain is differentiable everywhere, even for Gaussians with degenerate covariance matrices. We obtain this closed form solution by solving the fixed-point equation behind Sinkhorn's algorithm, the default method for computing entropic regularized OT. Remarkably, this approach extends to the generalized unbalanced case -- where Gaussian measures are scaled by positive constants. This extension leads to a closed form expression for unbalanced Gaussians as well, and highlights the mass transportation / destruction trade-off seen in unbalanced optimal transport. Moreover, in both settings, we show that the optimal transportation plans are (scaled) Gaussians and provide analytical formulas of their parameters. These formulas constitute the first non-trivial closed forms for entropy-regularized optimal transport, thus providing a ground truth for the analysis of entropic OT and Sinkhorn's algorithm.

연구 동기 및 목표

• 확장 가능한 정규화로 엔트로피 OT를 동기화하고 불균형 운송 가능성을 강조한다.
• 엔트로피 정규화 하에 균형 Gaussian OT의 닫힌 형태 공식을 도출한다.
• 불균형 Gaussian OT로 확장하고 질량 운송/소멸 간의 거래를 규정한다.
• 최적 수송 계획이 Gaussian임을 보이고 명시적 매개변수화를 제공한다.
• 닫힌 형식 표현의 이론적 및 실증적 검증을 제공한다.

제안 방법

• Sinkhorn 프레임워크를 사용하여 엔트로피 정규화와 불균형 질량(KL 항)을 갖는 OT를 형식화한다.
• 가우시안 계열에서 Sinkhorn 반복의 고정점(중심화, 2차 포텐셜)을 분석하여 닫힌 형식 표현을 얻는다.
• 행렬(A, B) 및 보조 F, G를 통해 Sinkhorn 포텐셜과 수송 계획 매개변수를 명시적으로 도출한다.
• 최적 수송 계획이 R^d × R^d 위에서 Gaussian임을 증명하고 A, B 및 정규화 매개변수에 의한 평균/공분산을 제시한다.
• 균형 결과를 불균형 케이스로 확장하고 총 운송 질량 m_pi를 포함하는 UOT_sigma의 닫힌 형식을 도출한다.
• 고정점 및 행렬식 기반 계산을 뒷받침하기 위한 보조 보정(Lemmas 1-2)와 명제(Propositions 1-7)를 제공한다.

실험 결과

연구 질문

• RQ1 균형 질량과 불균형 질량 제약하에서 가우시안 측정 간의 엔트로피 정규화 OT를 닫힌 형식으로 표현할 수 있는가?
• RQ2 엔트로피 정규화 하에서 가우시안 간의 최적 수송 계획이 Gaussian이고 그 매개변수를 해석적으로 계산할 수 있는가?
• RQ3 가우시안 간의 OT에서 불균형 질량 제약이 운송 대 파괴 간의 trade-off를 어떻게 수정하는가?
• RQ4 Sinkhorn 반복이 가우시안을 위한 명시적 닫힌 형식 포텐셜을 산출하는 고정점 형식을 허용하는가?
• RQ5 가우시안 설정에서 엔트로피 OT 비용의 미분가능성과 볼록성 특성은 어떠한가?

주요 결과

• 가우시안 측정 간 OT_sigma의 닫힌 형식 표현을 얻고, 거리를 평균 제곱 거리의 합과 가우시안 관련 항 B_sigma^2(A,B)로 나타낸다.
• 엔트로피 OT 계획은 가우시안이며 명시적 평균과 공분산은 A, B 및 교차항 C_sigma를 포함하는 블록 공분산 행렬로 주어진다.
• 해는 공분산 행렬이 특이해져도 잘 정의되고 미분 가능하며, Bures 거리와 달리 그렇다.
• 불균형 Gaussian OT에 대한 유사한 닫힌 형식이 도출되어 질량 m_pi를 갖는 Gaussian 수송 계획과 이중 포テン셜 구조를 산출한다.
• 고정점 방정식은 가우시안 Sinkhorn 인자들을 다루기 쉬운 행렬 방정식으로 축약되어 최적 포텐셜(U, V)과 수송 계획의 직접 계산을 가능하게 한다.
• 수치 실험은 닫힌 형식으로의 수렴을 검증하고 정규화 및 불균형 질량이 수송 계획에 미치는 영향을 보여준다.