[論文レビュー] Optimal transport natural gradient for statistical manifolds with continuous sample space

Yifan Chen, Wuchen Li|arXiv (Cornell University)|May 22, 2018

Geometric Analysis and Curvature Flows参考文献 47被引用数 11

ひとこと要約

本稿では、連続的な標本空間を備えたパラメトリックモデルのパラメータ空間へ、密度空間からの$L^2$-Wasserstein計量テンソルの引き戻しを用いてWasserstein統計多様体を導入し、Wasserstein距離の最小化において標準的勾配降下法を上回る自然勾配降下法を可能にした。この手法は漸近的にニュートン法に類似した振る舞いを示し、ガウス分布、混合分布、ガンマ分布、ラプラス分布の各分布において、安定的かつ有効であることが示された。

ABSTRACT

We study the Wasserstein natural gradient in parametric statistical models with continuous sample spaces. Our approach is to pull back the $L^2$-Wasserstein metric tensor in the probability density space to a parameter space, equipping the latter with a positive definite metric tensor, under which it becomes a Riemannian manifold, named the Wasserstein statistical manifold. In general, it is not a totally geodesic sub-manifold of the density space, and therefore its geodesics will differ from the Wasserstein geodesics, except for the well-known Gaussian distribution case, a fact which can also be validated under our framework. We use the sub-manifold geometry to derive a gradient flow and natural gradient descent method in the parameter space. When parametrized densities lie in $\bR$, the induced metric tensor establishes an explicit formula. In optimization problems, we observe that the natural gradient descent outperforms the standard gradient descent when the Wasserstein distance is the objective function. In such a case, we prove that the resulting algorithm behaves similarly to the Newton method in the asymptotic regime. The proof calculates the exact Hessian formula for the Wasserstein distance, which further motivates another preconditioner for the optimization process. To the end, we present examples to illustrate the effectiveness of the natural gradient in several parametric statistical models, including the Gaussian measure, Gaussian mixture, Gamma distribution, and Laplace distribution.

研究の動機と目的

• 最適輸送を用いて、連続的標本空間を有するパラメトリック統計モデルのためのリーマン幾何学的枠組みを構築すること。
• 密度空間からの$L^2$-Wasserstein計量テンソルの引き戻しを用いて、Wasserstein自然勾配を定義すること。
• 誘導された計量テンソルが正定値であり、その結果得られる多様体が適切に定義されるための条件を確立すること。
• Wasserstein自然勾配降下法が、Wasserstein距離最小化において漸近的にニュートン法に類似した振る舞いを示すことを示すこと。
• ガウス混合分布やラプラス分布を含む、複数のパラメトリック族において、実験的にこの手法の有効性を検証すること。

提案手法

• 無限次元の密度空間からの$L^2$-Wasserstein計量テンソルを、有限次元のパラメータ空間へ引き戻すこと。
• 楕円型偏微分方程式（仮定1を介して）を用いて、パラメータ空間における誘導計量テンソルを定義し、正定値性を保証すること。
• 1次元の標本空間において、計量テンソルの明示的公式を導出し、自然勾配の解析的計算を可能にすること。
• Wasserstein統計多様体に基づく自然勾配降下法を実装し、勾配フローの前進オイラー離散化を用いること。
• Wasserstein距離の正確なヘッセ行列を計算することで、Wasserstein自然勾配降下法が漸近的にニュートン法に類似した収束を示すことを証明すること。
• ヘッセ行列の構造に基づくプリコンディショナを設計し、最適化性能の向上を図ること。

実験結果

リサーチクエスチョン

• RQ1 無限次元の密度空間からの$L^2$-Wasserstein計量テンソルを、有限次元のパラメータ空間へ一貫して引き戻すことで、リーマン多様体を構成できるか？
• RQ2 Wasserstein距離を最小化する際、得られたWasserstein自然勾配降下法は、標準的勾配降下法を上回る性能を示すか？
• RQ3 パラメータ空間において、誘導された計量テンソルが正定値であり、適切に定義されるための条件は何か？
• RQ4 Wasserstein損失最小化の漸近的状態において、Wasserstein自然勾配はニュートン法とどのように関係するか？
• RQ5 真の分布がパラメトリック族の外にある場合、Wasserstein自然勾配はロバストであるか？

主な発見

• Wasserstein距離の正確なヘッセ行列を計算することで、Wasserstein自然勾配降下法がWasserstein距離最小化において漸近的にニュートン法に類似した収束行動を示すことが証明された。
• 適切に指定された状況では、Wasserstein GD は平均して6.29回の反復で目的関数値の平均が0.2490に達するが、標準的GDは56.36回の反復を要し、Wasserstein距離損失最小化において顕著に優れた性能を示した。
• 最尤推定（MLE）の文脈では、Fisher-Rao自然勾配降下法が、標準的GDおよびWasserstein GDを上回る性能を示した。これは幾何依存の最適性を示唆している。
• 誤ったモデル指定（ラプラス分布を真の分布とし、ガウス混合モデルを仮定）の状況でも、Wasserstein GD はWasserstein損失最小化において効率的であり（平均反復回数：6.29）、一方Fisher-Rao GD はMLEの文脈で優れた性能を示した（平均反復回数：4.24）。
• 異なるパラメトリック族と真の分布を用いた多数の実験を通じて、モデルの誤指定に対しても本手法がロバストであることが実証された。
• 1次元の標本空間において、計量テンソルの明示的公式が導出され、解析的計算と理論的分析が可能になった。