[論文レビュー] Wasserstein Riemannian Geometry of Positive Definite Matrices

Luigi Malagò, Luigi Montrucchio+1 more|arXiv (Cornell University)|Jan 28, 2018

Geometric Analysis and Curvature Flows参考文献 30被引用数 15

ひとこと要約

本稿では、正定値行列の多様体上での多変量ガウス密度関数の Wasserstein 距離を、リーマン計量として確立し、Lyapunov を用いた作用素表現を用いて、リーマンの指数写像、ノーマル座標、勾配、Levi-Civita 接続の明示的公式を導出する。主な貢献は、作用素 $ \mathcal{L}_\Sigma[X] $ を通じたリーマン計量の閉形式行列表現を提供することであり、対称正定値行列上での最適化に不可欠な幾何的量の効率的計算を可能にする。

ABSTRACT

The Wasserstein distance on multivariate non-degenerate Gaussian densities is a Riemannian distance. After reviewing the properties of the distance and the metric geodesic, we present an explicit form of the Riemannian metrics on positive-definite matrices and compute its tensor form with respect to the trace inner product. The tensor is a matrix which is the solution to a Lyapunov equation. We compute the explicit formula for the Riemannian exponential, the normal coordinates charts and the Riemannian gradient. Finally, the Levi-Civita covariant derivative is computed in matrix form together with the differential equation for the parallel transport. While all computations are given in matrix form, nonetheless we discuss also the use of a special moving frame.

研究の動機と目的

• 非退化ガウス分布における Wasserstein 距離を、正定値行列の多様体上でのリーマン計量として確立すること。
• リーマンの指数写像、ノーマル座標、リーマン勾配といった基本的幾何的対象の明示的閉形式表現を導出すること。
• リーマン計量を Lyapunov 作用素 $ \mathcal{L}_\Sigma[X] $ を用いて定式化し、計量およびその微分の行列ベースの計算を可能にすること。
• 第二階微分最適化に使用可能な、Levi-Civita の共変微分および平行移動方程式の行列形式での計算

提案手法

• 2つのゼロ平均ガウス分布間の Wasserstein 距離は $W^2 = \|\mu_1 - \mu_2\|^2 + \operatorname{Tr}(\Sigma_1 + \Sigma_2 - 2(\Sigma_1^{1/2}\Sigma_2\Sigma_1^{1/2})^{1/2})$ として表現され、これは $\operatorname{Sym}^{++}(n)$ 上のリーマン計量を定義する。
• リーマン計量はフロベニウス内積として $W_\Sigma(X,Y) = \langle \mathcal{L}_\Sigma[X], Y \rangle_2$ と表現され、ここで $\mathcal{L}_\Sigma[X]$ はリャプノフ方程式を満たす。
• リーマンの指数写像は明示的に $\operatorname{Exp}_\Sigma(tV) = \Sigma + tV + t^2 \mathcal{L}_\Sigma[V]\Sigma\mathcal{L}_\Sigma[V] + \mathcal{O}(t^3)$ として導出される。
• Levi-Civita 接続は計量の偏微分を用いて行列形式で計算され、平行移動の微分方程式が導かれる。
• Levi-Civita 接続の表現を簡略化し、計算複雑性を低減するために、特別な移動基底（moving frame）が導入される。
• スカラー場の測地線に沿った二階変動を用いてリーマンのヘッシアンが導出され、計量の二階微分が用いられる。

実験結果

リサーチクエスチョン

• RQ1 ガウス密度関数上の Wasserstein 距離は、正定値行列の多様体上でのリーマン計量としてどのように解釈できるか？
• RQ2 この幾何におけるリーマン指数写像の明示的行列形式は何か？
• RQ3 計量の作用素表現を用いて、リーマン勾配およびヘッシアンを閉形式でどのように計算できるか？
• RQ4 このリーマンフレームワークにおける Levi-Civita 共変微分および平行移動の構造は何か？
• RQ5 Levi-Civita 接続の複雑性を低減するために、簡略化された移動基底を構築できるか？

主な発見

• Wasserstein 距離は非退化ガウス密度関数の多様体上にリーマン計量を誘導し、計量テンソルは $W_\Sigma(X,Y) = \langle \mathcal{L}_\Sigma[X], Y \rangle_2$ で与えられる。ここで $\mathcal{L}_\Sigma[X]$ はリャプノフ方程式 $\mathcal{L}_\Sigma[X]\Sigma + \Sigma\mathcal{L}_\Sigma[X] = X$ を満たす。
• リーマンの指数写像は明示的に $\operatorname{Exp}_\Sigma(tV) = \Sigma + tV + t^2 \mathcal{L}_\Sigma[V]\Sigma\mathcal{L}_\Sigma[V] + \mathcal{O}(t^3)$ として計算され、$\operatorname{Sym}^{++}(n)$ 上での最適化のための再構成写像（retraction）を提供する。
• スカラー場 $\phi$ のリーマン勾配は $\nabla_\Sigma\phi = \mathcal{L}_\Sigma^{-1}[\nabla\phi]$ で与えられ、効率的な自然勾配降下を可能にする。
• Levi-Civita 共変微分は行列形式で導出され、平行移動の微分方程式は計量の偏微分を用いて表現される。
• Levi-Civita 接続の表現を簡略化する特別な移動基底が導入され、幾何計算における計算複雑性が低減される。
• リーマンヘッシアンは測地線に沿った二階変動を用いて計算され、$\ddot{\varphi}(0) = \operatorname{Hess}\phi(\Sigma)(V,V)$ を得る。これにより、多様体上での第二階最適化が可能になる。