[논문 리뷰] Asymptotics of Entropy-Regularized Optimal Transport via Chaos Decomposition

Zaïd Harchaoui, Lang Liu외 1명|arXiv (Cornell University)|2020. 11. 17.

Statistical Mechanics and Entropy참고 문헌 40인용 수 5

한 줄 요약

이 논문은 N 개의 입자를 위한 정적 슈뢰딩거 다리를 구성하는 최적 운반 결합을 프레임워크로 삼는 수정된 이산 엔트로피 정규화를 제안하며, 연속 슈뢰딩거 다리로의 수렴을 증명하고 명시적인 N^{-1/2} 및 N^{-1} 오차 항을 제공한다. 기존 결과를 유한 상태 공간과 이차 비용을 초월하여 일반 연속 밀도와 임의의 비용 함수로 확장하기 위해 경험 측도의 새로운 혼돈 분해를 통해 기능적 중심극한정리와 두 번째 차수의 가우시안 혼돈 극한을 확립한다.

ABSTRACT

Consider the problem of estimating the optimal coupling (i.e., matching) between $N$ i.i.d. data points sampled from two densities $ ho_0$ and $ ho_1$ in $\mathbb{R}^d$. The cost of transport is an arbitrary continuous function that satisfies suitable growth and integrability assumptions. For both computational efficiency and smoothness, often a regularization term using entropy is added to this discrete problem. We introduce a modification of the commonly used discrete entropic regularization (Cuturi '13) such that the optimal coupling for the regularized problem can be thought of as the static Schrodinger bridge with $N$ particles. This paper is on the asymptotic properties of this discrete Schrodinger bridge as $N$ tends to infinity. We show that it converges to the continuum Schrodinger bridge and derive the first two error terms of orders $N^{-1/2}$ and $N^{-1}$, respectively. This gives us functional CLT, including for the cost of transport, and second order Gaussian chaos limits when the limiting Gaussian variance is zero, extending similar recent results derived for finite state spaces and the quadratic cost. The proofs are based on a novel chaos decomposition of the discrete Schrodinger bridge by polynomial functions of the pair of empirical distributions as a first and second order Taylor approximations in the space of measures. This is achieved by extending the Hoeffding decomposition from the classical theory of U-statistics. The kernels corresponding to the first and second order chaoses are given by Markov operators which have natural interpretations in the Sinkhorn algorithm.

연구 동기 및 목표

• 입자 수 N 이 무한으로 갈 때 엔트로피 정규화된 최적 운반의 점근적 행동을 분석하는 것.
• 유한 상태 공간과 이차 비용을 초월하여 일반 연속 밀도와 임의의 비용 함수에 대해 기능적 중심극한정리와 두 번째 차수 혼탁 극한을 확장하는 것.
• 새로운 혼탁 분해를 통해 이산 엔트로피 최적 운반과 연속 슈뢰딩거 다리 간의 엄밀한 수학적 프레임워크를 구축하는 것.
• 이산 결합이 그 연속 극한으로 수렴할 때의 첫 번째 및 두 번째 차수 오차 항을 특성화하는 것.

제안 방법

• N개의 i.i.d. 입자를 위한 정적 슈뢰딩거 다리로 간주하는 최적 결합을 프레임워크로 삼는 수정된 이산 엔트로피 정규화를 도입한다.
• 경험 측도의 다항 함수를 사용하여 이산 슈뢰딩거 다리에 대한 새로운 혼탁 분해를 적용하며, 이는 첫 번째 및 두 번째 차수 타일러 근사로 해석된다.
• U-통계량에 대한 고전적 허프딩 분해를 확률 측도 공간으로 확장하여 첫 번째 및 두 번째 차수 혼탁에 해당하는 커널을 도출한다.
• 혼탁 커널을 마코프 연산자로 식별하며, 이는 싱크혼 알고리즘에서의 계산 절차와 자연스럽게 연결된다.
• 이산 결합이 N^{-1/2} 및 N^{-1} 순서의 명시적 오차 항을 동반하여 연속 슈뢰딩거 다리로 수렴함을 증명한다.
• 기능적 중심극한정리와 두 번째 차수 가우시안 혼탁 극한을 도출하며, 이는 제한된 가우시안 분산이 0이 되는 경우도 포함된다.

실험 결과

연구 질문

• RQ1 N → ∞ 일 때 이산 엔트로피 최적 운반 결합은 어떻게 연속 슈뢰딩거 다리로 수렴하는가?
• RQ2 이 수렴 과정에서의 첫 번째 및 두 번째 차수 점근적 오차 항은 무엇이며, 이는 차원과 비용 함수에 어떻게 의존하는가?
• RQ3 일반적인 밀도와 연속 비용 함수 하에서 운반 비용과 결합에 대해 기능적 중심극한정리를 확립할 수 있는가?
• RQ4 혼탁 분해는 이산 결합이 그 극한 주위에서의 변동성을 특성화하는 데 어떤 역할을 하는가?
• RQ5 혼탁 분해에서 유도된 마코프 연산자는 싱크혼 알고리즘의 단계와 어떻게 관련되어 있는가?

주요 결과

• N → ∞ 일 때 이산 슈뢰딩거 다리가 N^{-1/2} 및 N^{-1} 순서의 오차 항을 동반하여 연속 슈뢰딩거 다리로 수렴한다.
• 일반적인 연속 비용 함수와 R^d 내 연속 밀도에 대해 최적 결합과 운반 비용에 대해 기능적 중심극한정리가 확립된다.
• 제한된 가우시안 분산이 0이 되는 경우도 포함하여 두 번째 차수 가우시안 혼탁 극한이 도출되며, 이는 이전 결과를 이차 비용과 유한 상태 공간을 초월하여 확장한다.
• 첫 번째 차수 혼탁 성분은 싱크혼 알고리즘의 첫 번째 반복에 해당하는 마코프 연산자에서 유래한다.
• 두 번째 차수 혼탁 성분은 경험 측도 근사에서의 두 번째 차수 변동성을 캡처하는 마코프 연산자에 의해 지배된다.
• 혼탁 분해는 확률 측도 공간에서 U-통계량에 대한 일반화된 허프딩 유형의 분해를 통해 구성되며, 이는 점근 전개 유도에 기여한다.