[논문 리뷰] On the difference between entropic cost and the optimal transport cost

Soumik Pal|arXiv (Cornell University)|2019. 05. 29.

Geometric Analysis and Curvature Flows참고 문헌 28인용 수 20

한 줄 요약

이 논문은 정규화 매개수 $ h \to 0^+ $ 일 때, 엔트로피 비용 $ K_h $ 와 $ \frac{1}{h} $ 배의 최적 운반 비용 간의 차이의 점별 극한을 규명한다. 이 차이는 최적 운반 사상의 국소 감도를 기록하는 리만 곡면 체적 측도를 포함하는 상대 엔트로피 항으로 수렴함을 보여준다. 제곱 Wasserstein 운반 비용의 경우 이 극한은 목적지 및 소스 밀도의 엔트로피 차이의 절반과 일치하며, 이 결과는 국소적이지 않은 Dirichlet 운반 비용으로까지 확장되어, 거리 비용이 없더라도 엔트로피의 기울기 흐름 구조가 존재함을 시사한다.

ABSTRACT

Consider the Monge-Kantorovich problem of transporting densities $ρ_0$ to $ρ_1$ on $\mathbb{R}^d$ with a strictly convex cost function. A popular relaxation of the problem is the one-parameter family called the entropic cost problem. The entropic cost $K_h$, $h>0$, is significantly faster to compute and $h K_h$ is known to converge to the optimal transport cost as $h$ goes to zero. We are interested the rate of convergence. We show that the difference between $K_h$ and $1/h$ times the optimal cost of transport has a pointwise limit when transporting a compactly supported density to another that satisfies a few other technical restrictions. This limit is the relative entropy of $ρ_1$ with respect to a Riemannian volume measure on $\mathbb{R}^d$ that measures the local sensitivity of the transport map. For the quadratic Wasserstein transport, this relative entropy is exactly one half of the difference of entropies of $ρ_1$ and $ρ_0$. In that case we complement the results of Adams et al., Duong et al, and Erbar et al. who all use gamma convergence. More surprisingly, we demonstrate that this difference of two entropies (plus the cost) is also the limit for the Dirichlet transport introduced recently by Pal and Wong. The latter can be thought of as a multiplicative analog of the Wasserstein transport and corresponds to a non-local operator. It hints at an underlying gradient flow of entropy, in the sense of Jordan-Kinderlehrer-Otto, even when the cost function is not a metric. The proofs are based on Gaussian approximations to Schrödinger bridges as $h$ approaches zero.

연구 동기 및 목표

• 정규화 매개수 $ h \to 0^+ $ 일 때 엔트로피 비용 $ K_h $ 가 최적 운반 비용으로 수렴하는 속도를 분석하는 것.
• строго한 볼록 비용 함수의 맥락에서 $ K_h - \frac{1}{h} \mathbb{W}_g(\rho_0, \rho_1) $ 의 점별 극한을 규명하는 것.
• 제곱 Wasserstein 비용의 경우 이 극한이 $ \rho_1 $ 과 $ \rho_0 $ 의 엔트로피 차이의 절반과 일치함을 보이는 것.
• 비국소적 Dirichlet 운반 비용, 즉 Wasserstein 운반의 비국소적 곱셈형 유사체계로 이 결과를 확장하고 동일한 극한 구조를 보이는 것.
• 엔트로피 정규화의 渐진적 행동과 기울기 흐름 간의 연결 고리를 확립하며, 이는 비용 함수가 거리 함수가 아닐 때에도 성립함을 보이는 것.

제안 방법

• 정규화 매개수 $ h \to 0^+ $ 일 때, Schrödinger 다리를 위한 가우시안 근사와 대규모 편차 원리를 활용하여 엔트로피 비용의 극한을 분석한다.
• 엔트로피 비용 $ K_h $ 는 기준 측도 $ \mu_h $ 에 대한 결합 $ \nu $ 의 상대 엔트로피로 정의되며, 이 기준 측도 $ \mu_h $ 는 커널 $ \exp(-\frac{1}{h}g(x-y)) $ 를 갖는 깁스 측도이다.
• 좌표계를 이중 공간 기준으로 사용하여 변수 변경 기법과 자코비안 행렬식을 적용하여, 특히 Dirichlet 운반 비용의 경우 역함수에 대한 엔트로피 표현식을 변환한다.
• 엔트로피 비용 $ K_h $ 의 渐진적 전개를 유도하기 위해, $ \frac{1}{h} \mathbf{C}(\rho_0, \rho_1) $, 로그 보정 항 $ \int \log Z_h(p) \rho_0(p) dp $, 기준 측도의 밀도를 포함하는 항으로 분해한다.
• 레마 4 를 사용하여 $ h \to 0^+ $ 일 때 $ \int \log Z_h(p) \rho_0(p) dp $ 의 극한을 계산하고, 이를 상대 엔트로피와 자코비안 행렬식으로 표현한다.
• Schrödinger 다리 문제의 섭동 분석을 통해 극한을 확립하며, 최적 운반 사상의 국소 감도를 포함하는 리만 곡면 체적 측도로 수렴함을 보인다.

실험 결과

연구 질문

• RQ1 스트릭트한 볼록 비용 함수에 대해 $ h \to 0^+ $ 일 때 $ K_h - \frac{1}{h} \mathbb{W}_g(\rho_0, \rho_1) $ 의 점별 극한은 무엇인가?
• RQ2 이 극한은 $ \mathbb{R}^d $ 상의 리만 곡면 체적 측도에 대한 목적지 밀도의 상대 엔트로피와 어떻게 관련이 있는가?
• RQ3 제곱 Wasserstein 비용의 경우 이 극한은 $ \rho_1 $ 과 $ \rho_0 $ 의 엔트로피 차이의 절반과 일치하는가?
• RQ4 비국소적 Dirichlet 운반 비용, 즉 Wasserstein 운반의 곱셈형 유사체계에 대해 동일한 渐진적 극한 구조를 확장할 수 있는가?
• RQ5 이 극한의 존재가, 비용 함수가 거리 함수가 아닐 때에도 엔트로피의 기울기 흐름을 암시하는가?

주요 결과

• 차이 $ K_h - \frac{1}{h} \mathbb{W}_g(\rho_0, \rho_1) $ 는 최적 운반 사상의 국소 감도를 측정하는 리만 곡면 체적 측도를 포함하는 상대 엔트로피 항으로 점별 수렴한다.
• 제곱 Wasserstein 비용의 경우 극한은 정확히 $ \frac{1}{2} \left( \mathrm{Ent}(\rho_1) - \mathrm{Ent}(\rho_0) \right) $ 와 일치하며, 엔트로피 차이의 절반으로 표현된다.
• Pal 곝 Wong 가 도입한 Dirichlet 운반 비용에 대해서도 동일한 渐진적 극한 구조가 성립하며, 이는 비국소적 연산자와 곱셈형 운반 구조를 나타낸다.
• 이 결과는 비용 함수가 거리 함수가 아닐 때에도 Jordan-Kinderlehrer-Otto 의미의 엔트로피 기울기 흐름이 존재함을 암시하며, 더 깊은 기하학적 구조를 시사한다.
• 극한은 Schrödinger 다리에 대한 가우시안 근사와 대규모 편차 원리를 통해 유도되며, 보정 항은 자코비안 행렬식과 기준 측도의 밀도로 표현된다.
• 증명은 특히 역함수에 대한 이중 공간에서의 변수 변경 공식에 의존하며, 원래 좌표계와 변환된 좌표계에서의 엔트로피 표현식 간의 관계를 규명한다.