[논문 리뷰] Wasserstein Riemannian Geometry of Positive Definite Matrices

Luigi Malagò, Luigi Montrucchio외 1명|arXiv (Cornell University)|2018. 01. 28.

Geometric Analysis and Curvature Flows참고 문헌 30인용 수 15

한 줄 요약

이 논문은 다변량 정규 밀도의 워샤프스키 거리가 양의 정부호 행렬의 다양체 위에서 리만계량으로 작용함을 확립하며, 라파노프 기반 연산자 표현을 통해 리만지수, 정규좌표, 기울기 및 리만-비체바 연결의 명시적 공식을 유도한다. 주요 기여는 연산자 $\mathcal{L}_\Sigma[X]$ 를 통한 리만계량의 폐쇄형 행렬 표현을 제공함으로써 대칭 양의 정부호 행렬 위에서 최적화에 필수적인 기하량을 효율적으로 계산할 수 있도록 한다.

ABSTRACT

The Wasserstein distance on multivariate non-degenerate Gaussian densities is a Riemannian distance. After reviewing the properties of the distance and the metric geodesic, we present an explicit form of the Riemannian metrics on positive-definite matrices and compute its tensor form with respect to the trace inner product. The tensor is a matrix which is the solution to a Lyapunov equation. We compute the explicit formula for the Riemannian exponential, the normal coordinates charts and the Riemannian gradient. Finally, the Levi-Civita covariant derivative is computed in matrix form together with the differential equation for the parallel transport. While all computations are given in matrix form, nonetheless we discuss also the use of a special moving frame.

연구 동기 및 목표

• 비특이 정규분포 위에서 워샤프스키 거리를 양의 정부호 행렬의 다양체 위의 리만계량으로 확립하는 것.
• 리만지수, 정규좌표, 리만기울기와 같은 기본 기하 대상에 대한 명시적 폐쇄형 표현을 유도하는 것.
• 리만계량을 라파노프 연산자 $\mathcal{L}_\Sigma[X]$ 를 통해 표현하여 계량 및 그 도함수의 행렬 기반 계산을 가능하게 하는 것.
• 두 번째 순서 최적화에 사용하기 위해 행렬 형태로 리만-비체바 공변도 및 평행이동 방정식을 계산하는 것.

제안 방법

• 두 평균이 0인 정규분포 사이의 워샤프스키 거리는 $W^2 = \|\mu_1 - \mu_2\|^2 + \operatorname{Tr}(\Sigma_1 + \Sigma_2 - 2(\Sigma_1^{1/2}\Sigma_2\Sigma_1^{1/2})^{1/2})$ 로 표현되며, 이는 $\operatorname{Sym}^{++}(n)$ 위의 리만계량을 정의한다.
• 리만계량은 프로베니우스 내적을 통해 $W_\Sigma(X,Y) = \langle \mathcal{L}_\Sigma[X], Y \rangle_2$ 로 표현되며, 여기서 $\mathcal{L}_\Sigma[X]$ 는 라파노프 방정식의 해이다.
• 리만지수는 명시적으로 $\operatorname{Exp}_\Sigma(tV) = \Sigma + tV + t^2 \mathcal{L}_\Sigma[V]\Sigma\mathcal{L}_\Sigma[V] + \mathcal{O}(t^3)$ 로 유도된다.
• 리만-비체바 연결은 계량의 편도함수를 사용하여 행렬 형태로 계산되며, 평행이동을 위한 미분방정식을 이끌어낸다.
• 리만-비체바 연결의 표현을 단순화하고 계산 복잡도를 감소시키기 위해 특수한 움직이는 기저를 도입한다.
• 스칼라 장의 기하선을 沿해 두 번째 순서 변동을 사용하여 리만헤시안을 도출하며, 계량의 두 번째 도함수를 활용한다.

실험 결과

연구 질문

• RQ1 정규밀도 위에서의 워샤프스키 거리는 어떻게 양의 정부호 행렬의 다양체 위의 리만계량으로 해석될 수 있는가?
• RQ2 이 기하학에서 리만지수 사상의 명시적 행렬 형태는 무엇인가?
• RQ3 계량의 연산자 표현을 사용하여 리만기울기 및 헤시안을 폐쇄형으로 어떻게 계산할 수 있는가?
• RQ4 이 리만기하 틀에서 리만-비체바 공변도 및 평행이동의 구조는 어떠한가?
• RQ5 리만-비체바 연결의 복잡도를 줄이기 위해 단순화된 움직이는 기저를 구성할 수 있는가?

주요 결과

• 워샤프스키 거리는 비특이 정규밀도의 다양체 위에 리만계량을 유도하며, 계량 텐서는 $W_\Sigma(X,Y) = \langle \mathcal{L}_\Sigma[X], Y \rangle_2$ 로 주어지며, 여기서 $\mathcal{L}_\Sigma[X]$ 는 라파노프 방정식 $\mathcal{L}_\Sigma[X]\Sigma + \Sigma\mathcal{L}_\Sigma[X] = X$ 의 해이다.
• 리만지수 사상은 명시적으로 $\operatorname{Exp}_\Sigma(tV) = \Sigma + tV + t^2 \mathcal{L}_\Sigma[V]\Sigma\mathcal{L}_\Sigma[V] + \mathcal{O}(t^3)$ 로 계산되며, $\operatorname{Sym}^{++}(n)$ 위에서 최적화를 위한 리트랙션을 제공한다.
• 스칼라 장 $\phi$ 의 리만기울기는 $\nabla_\Sigma\phi = \mathcal{L}_\Sigma^{-1}[\nabla\phi]$ 로 주어지며, 효율적인 자연 기울기 하강을 가능하게 한다.
• 리만-비체바 공변도는 행렬 형태로 유도되었으며, 평행이동을 위한 미분방정식은 계량의 편도함수로 표현된다.
• 특수한 움직이는 기저가 도입되어 리만-비체바 연결의 표현을 단순화하고 기하 계산의 계산 복잡도를 감소시켰다.
• 리만헤시안은 기하선을 따라 두 번째 순서 변동을 사용하여 계산되었으며, $\ddot{\varphi}(0) = \operatorname{Hess}\phi(\Sigma)(V,V)$ 를 도출하여 다양체 위에서의 두 번째 순서 최적화를 가능하게 하였다.