[논문 리뷰] Pseudo-Riemannian geometry embeds information geometry in optimal transport

Ting‐Kam Leonard Wong, Jiaowen Yang|arXiv (Cornell University)|2019. 05. 31.

Geometric Analysis and Curvature Flows참고 문헌 47인용 수 8

한 줄 요약

이 논문은 최적 운반과 정보 기하학 사이의 기본 기하학적 연결을 확립한다. 구체적으로, 케임과 맥캔이 최적 운반 사상의 정칙성 분석을 위해 개발한 의사 리만 기하학 프레임워크가 통계 다양체의 이중성 기하학적 구조를 자연스럽게 표현한다는 점을 보여준다. 핵심 기여는 최적 운반 사상에 의해 정의된 $c$-divergence가 정보 기하학의 이중성 기하학적 구조를 실현하며, 마-트루딩어-완(tensor)이 원시 및 쌍대 지오데식 사이의 발산의 곡률 측도로서 새로운 정보 기하학적 의미를 갖는다는 것이다.

ABSTRACT

Optimal transport and information geometry both study geometric structures on spaces of probability distributions. Optimal transport characterizes the cost-minimizing movement from one distribution to another, while information geometry originates from coordinate-invariant properties of statistical inference. Their connections and applications in statistics and machine learning have started to gain more attention. In this paper we give a new differential geometric connection between the two fields. Namely, the pseudo-Riemannian framework of Kim and McCann, a geometric perspective on the fundamental Ma-Trudinger-Wang (MTW) condition in the regularity theory of optimal transport maps, encodes the dualistic structure of statistical manifold. This general relation is described using the natural framework of $c$-divergence, a divergence defined by an optimal transport map. As a by-product, we obtain a new information-geometric interpretation of the MTW tensor. This connection sheds light on old and new aspects of information geometry. The dually flat geometry of Bregman divergence corresponds to the quadratic cost and the pseudo-Euclidean space, and the $L^{(α)}$-divergence introduced by Pal and the first author has constant sectional curvature in a sense to be made precise. In these cases we give a geometric interpretation of the information-geometric curvature in terms of the divergence between a primal-dual pair of geodesics.

연구 동기 및 목표

• 최적 운반과 정보 기하학 사이의 깊은 기하학적 연결을 의사 리만 기하학을 통해 확립하기 위해.
• 최적 운반 사상에서 유도된 $c$-divergence가 통계 다각체의 이중성 기하학적 구조를 실현한다는 것을 보여주기 위해.
• 마-트루딩어-완(MTW) 텐서를 원시-쌍대 지오데식 발산의 곡률 측도로 보는 새로운 정보 기하학적 해석을 제공하기 위해.
• 브레그만 및 $L^{(\beta)}$-divergence와 같은 알려진 발산의 기하학적 이해를 곡률과 의사 리만 기하학적 구조의 관점에서 확장하기 위해.
• 최적 운반과 정보 기하학 간의 결과를 통합된 기하학적 프레임워크를 통해 상호 전환할 수 있는 기초를 마련하기 위해.

제안 방법

• 비용 함수 $c$의 교차 차분 $\delta(p,q';p_0,q_0')$에서 유도된 의사 리만 계량 $h = \frac{1}{2}\operatorname{Hess}\delta$를 사용한다.
• 미분 가능 다양체 $M$과 $M'$의 곱 공간 $M \times M'$에 케임-맥캔 기하학적 프레임워크를 적용한다.
• 최적 운반 사상의 그래프 $G$에서 곡선 $\gamma(s)$와 $\sigma(t)$로 매개화된 분포 간의 운반 비용으로서 $c$-divergence $\mathbf{D}[\gamma(s):\sigma(t)]$를 정의한다.
• 시간 도함수 $s=t=0$에서 $c$-divergence의 도함수가 비정규화된 단면 곡률 $\overline{\mathrm{sec}}_x(X,Y)$에 비례함을 증명하여, 발산 동역학과 곡률을 연결한다.
• $L^{(\alpha)}$-divergence와 브레그만 발산을 특수 케이스로 사용하여 의사 리만 설정에서 일정한 단면 곡률을 보여준다.
• 로그비용의 경우 관계식 $\overline{\mathrm{sec}}_x(X,Y) = 4\alpha h^2(X,Y)$를 유도하여 곡률과 $c$-divergence 사이의 정확한 기하학적 연결을 맺는다.

실험 결과

연구 질문

• RQ1 통계 다각체의 이중성 기하학적 구조는 최적 운반의 프레임워크 내에서 어떻게 기하학적으로 표현될 수 있는가?
• RQ2 마-트루딩어-완(MTW) 텐서는 운반에 의해 유도된 발산의 곡률 측도로서 정보 기하학적으로 어떤 의미를 갖는가?
• RQ3 최적 운반 사상에서 유도된 $c$-divergence는 정보 기하학에서의 표준 발산으로 해석될 수 있는가?
• RQ4 브레그만 발산과 $L^{(\alpha)}$-발산과 같은 알려진 발산은 최적 운반의 의사 리만 기하학에서 어떻게 유도되는가?
• RQ5 교차 차분 $\delta$는 최적 운반과 정보 기하학을 통합하는 데 어떤 기하학적 역할을 하는가?

주요 결과

• $c$-divergence는 최적 운반 사상에서 유도되며, 원시 및 쌍대 연결이 운반 기하학에서 자연스럽게 유도되는 통계 다각체의 이중성 기하학적 구조를 실현한다.
• 마-트루딩어-완(MTW) 텐서는 원시 지오데식과 그 쌍대 지오데식 사이의 발산 곡률로 기하학적으로 해석되며, 이는 $c$-divergence의 시간 도함수를 통해 측정된다.
• $L^{(\alpha)}$-divergence의 경우 의사 리만 교차 곡률은 일정하고 $-4\alpha$와 같으며, 이는 발산의 곡률이 비용 함수의 로그 구조와 연결됨을 보여준다.
• 브레그만 발산의 경우 $c$-divergence는 제곱 비용과 의사 유클리드 공간에 해당하며, 유도된 계량 $h$는 평탄하다.
• $c$-divergence $\mathbf{D}[\gamma(s):\sigma(t)]$의 시간 도함수 $s=t=0$에서 비정규화된 단면 곡률 $\overline{\mathrm{sec}}_x(X,Y)$에 비례하며, 비례 계수는 계량 $h$에 의해 결정된다.
• 로그비용의 경우 관계식 $\overline{\mathrm{sec}}_x(X,Y) = 4\alpha h^2(X,Y)$가 성립하여, $L^{(\alpha)}$-divergence 케이스에서 곡률과 $c$-divergence 사이의 정확한 기하학적 연결을 제공한다.