[논문 리뷰] The statistical effect of entropic regularization in optimal transportation

Eustasio del Barrio, Jean–Michel Loubes|arXiv (Cornell University)|2020. 06. 09.

Statistical Mechanics and Entropy참고 문헌 20인용 수 10

한 줄 요약

이 논문은 다변량 정규분포 간의 엔트로피 정규화된 최적 운반 문제에 대해 닫힌 형태의 해를 제공하며, 정규화된 운반 계획이 공분산 행렬에 $\Sigma_1 + \frac{\varepsilon}{2}I_d$ 의 이동을 유도한다는 것을 드러낸다. 또한 엔트로피 바리센터가 정규분포로 남아 있음을 입증하고, 공분산은 고정점 행렬 방정식을 통해 구해지며, 싱크혼 알고리즘에서 정규화의 통계적 및 계산적 영향에 대한 이론적 명료성을 제공한다.

ABSTRACT

We propose to tackle the problem of understanding the effect of regularization in Sinkhorn algotihms. In the case of Gaussian distributions we provide a closed form for the regularized optimal transport which enables to provide a better understanding of the effect of the regularization from a statistical framework.

연구 동기 및 목표

• 엔트로피 정규화가 최적 운반 문제에 미치는 통계적 영향을 이해하는 것, 특히 싱크혼 알고리즘 맥락에서.
• 다변량 정규분포 간의 정규화된 최적 운반 문제에 대해 닫힌 형태의 표현식을 유도하는 것.
• 가우시안 혼합분포에 대한 엔트로피 바리센터의 구조를 특성화하고, 그 존재성과 유일성을 확립하는 것.
• 정규화 파라미터 $\varepsilon$ 가 운반 계획의 통계적 수렴성과 기하적 성질에 미치는 영향을 정량화하는 것.
• 정규화된 최적 운반 문제에서 계산 효율성과 통계적 일致성 사이의 격차를 메우는 것.

제안 방법

• 행렬 대수학과 슈뢰딩거 시스템을 사용하여 두 개의 평균이 0인 다변량 정규분포 간의 엔트로피 정규화된 최적 운반 문제에 대해 닫힌 형태의 해를 유도한다.
• 싱크혼 알고리즘 프레임워크를 활용하여 정규화된 운반 문제를 엔트로피 페널티 $\varepsilon H(\pi)$ 를 가진 엄밀히 볼록 최적화 문제로 모델링한다.
• 행렬 함수 미적분을 적용하여 이중 문제를 해결하고, 행렬 곱의 제곱근을 포함하는 고정점 방정식을 도출한다.
• 브라우어의 정리를 사용하여 컴act한 볼록 집합 내 고정점의 존재를 증명함으로써 정규화된 바리센터의 존재성과 유일성을 확립한다.
• k개의 가우시안의 바리센터를 평균이 입력 평균들의 가중 평균이고 공분산이 비선형 행렬 방정식을 만족하는 정규분포로 특성화한다.
• 행렬 부호 함수와 로그 행렬식 성질을 활용하여 정규화된 비용 함수의 볼록성과 최소화를 분석한다.

실험 결과

연구 질문

• RQ1 엔트로피 정규화는 두 가우시안 분포 간의 최적 운반 계획의 구조에 어떻게 영향을 미치는가?
• RQ2 엔트로피 정규화된 최적 운반 문제에 대해 가우시안 간에 닫힌 형태의 해를 도출할 수 있는가?
• RQ3 정규화 파라미터 $\varepsilon$ 는 경험적 정규화된 OT의 수렴 속도에 통계적으로 어떤 영향을 미치는가?
• RQ4 엔트로피 바리센터는 가우시안 분포로 남아 있는가? 만약 그렇다면 그 공분산은 어떻게 결정되는가?
• RQ5 정규화된 바리센터는 $\varepsilon \to 0$ 의 극한에서 고전적 워셔스타인 바리센터와 어떻게 관련이 있는가?

주요 결과

• 공분산가 $\Sigma_1$ 과 $\Sigma_2$ 를 가진 두 개의 평균이 0인 가우시안 간의 정규화된 최적 운반 문제에서, 비용이 $\Sigma_2 = \Sigma_1 + \frac{\varepsilon}{2}I_d$ 일 때 최소화되며, 이는 정규화로 인한 직접적인 이동을 보여준다.
• 가우시안 간의 정규화된 운반 비용에 대해 닫힌 형태의 해가 유도되었으며, $\mathcal{W}_{2,\varepsilon}^2(P_1,P_2) = \text{Tr}(\Sigma_2) - 2\text{Tr}(\Sigma_1 X_\varepsilon) - \frac{\varepsilon}{2}\log|\Sigma_1 X_\varepsilon|$, 여기서 $X_\varepsilon$ 는 행렬 방정식의 해이다.
• $k$개의 가우시안 분포 $P_i = N(\mu_i, \Sigma_i)$ 의 $\varepsilon$-정규화된 바리센터는 그 자체로 가우시안 $N(\mu_0, \Sigma_0)$ 이며, $\mu_0 = \sum \lambda_i \mu_i$ 이고 $\Sigma_0$ 는 $\Sigma_i$ 와 $\varepsilon$ 를 포함하는 행렬 방정식에 의해 유일하게 결정된다.
• 바리센터 공분산 $\Sigma_0$ 를 위한 행렬 방정식은 $\sum_{i=1}^k \lambda_i \left( \Sigma_0^{-1/2}(\Sigma_0^{1/2}\Sigma_i\Sigma_0^{1/2} + (\frac{\varepsilon}{4})^2 I_d)^{1/2} \Sigma_0^{-1/2} + \frac{\varepsilon}{4}\Sigma_0^{-1} \right) = I_d$ 이며, 이는 유일한 양의 정부호 해를 가진다.
• 정규화된 바리센터는 가우시안 구조를 유지하며, 위치-스케일 가족 외에서는 이 성질을 유지하지 못하는 고전적 워셔스타인 바리센터와는 달리 정규화에 대해 안정성을 보여준다.
• 경험적 정규화된 OT의 수렴 속도가 $O(\frac{1}{\varepsilon^{2 + [5d/4]}} \cdot \frac{1}{\sqrt{n}})$ 로 나타나며, 이는 비정규화된 OT의 $n^{-1/d}$ 속도보다 향상되어 정규화의 통계적 이점을 강조한다.