[論文レビュー] Ricci curvature for parametric statistics via optimal transport

Wuchen Li, Guido Montúfar|arXiv (Cornell University)|Jul 18, 2018

Geometric Analysis and Curvature Flows参考文献 34被引用数 17

ひとこと要約

本稿では、Wasserstein統計多様体上でのKullback-Leibler(KL)発散の測地線的凸性を活用して、パラメトリック統計モデルにおけるリッチ・曲率下界の新しい概念を導入する。このアプローチにより、情報幾何学とWasserstein幾何学が統合される。主な貢献は、KL発散のヘッセ行列を用いた計算可能な下界であり、指数型分布族モデルにおけるWasserstein勾配フローの収束速度を予測可能であることが、パrameter領域全域にわたり実証的に検証されている。

ABSTRACT

We elaborate the notion of a Ricci curvature lower bound for parametrized statistical models. Following the seminal ideas of Lott-Strum-Villani, we define this notion based on the geodesic convexity of the Kullback-Leibler divergence in a Wasserstein statistical manifold, that is, a manifold of probability distributions endowed with a Wasserstein metric tensor structure. Within these definitions, the Ricci curvature is related to both, information geometry and Wasserstein geometry. These definitions allow us to formulate bounds on the convergence rate of Wasserstein gradient flows and information functional inequalities in parameter space. We discuss examples of Ricci curvature lower bounds and convergence rates in exponential family models.

研究の動機と目的

• パラメトリック統計モデルのリッチ・曲率下界を、Wasserstein幾何学と情報幾何学を用いて定義すること。
• パrameter空間におけるWasserstein勾配フローの収束速度と、KL発散の測地線的凸性との関係を確立すること。
• KL発散のヘッセ行列に基づく、計算可能でグローバルな幾何的不変量（学習収束速度の下界）を提供すること。
• この曲率概念の有用性を、より速い学習を実現するためのモデル設計およびグラウンド度合いの選定を支援する観点から示すこと。
• Lott-Strübm-VillaniおよびErbar-Maasの基礎的アイデアを、離散的標本空間上のパラメトリック統計モデルに拡張すること。

提案手法

• L²-Wasserstein計量テンソルを備えた、確率分布のパラメトリック族としてWasserstein統計多様体を定義する。
• KL発散の測地線的凸性を用いて、この多様体上でのリッチ・曲率下界を導入し、KL発散のヘッセ行列を主要な要素とする。
• フィッシャー・ラオ計量、Wasserstein計量、パrameter化の2階微分、Wasserstein多様体のクリフォール記号を含む行列不等式として、曲率条件を定式化する。
• パrameter領域全体におけるKL発散のヘッセ行列の最小固有値を用いて、曲率下界を推定する。
• 複数の指数型分布族モデルにおいて、Wasserstein勾配フローの観測収束速度と比較することで、この下界の実証的妥当性を検証する。
• 離散的状態空間における数値実験を通じて、ヘッセ行列に基づく曲率下界が、観測収束速度を常に下回るか、一致することを示す。

実験結果

リサーチクエスチョン

• RQ1 Wasserstein幾何学と情報幾何学を用いて、統計モデルのパrameter空間におけるリッチ・曲率をどのように定義できるか？
• RQ2 パラメトリックモデルにおけるWasserstein勾配フローの収束速度と、KL発散の測地線的凸性の関係は何か？
• RQ3 KL発散のヘッセ行列が、指数型分布族における学習アルゴリズムの収束速度の計算可能な下界を提供できるか？
• RQ4 リーマン曲率下界は、基準測度、モデル構造、標本空間上のグラウンド度合いの選択にどのように依存するか？
• RQ5 リーマン曲率下界は、統計モデルおよび学習アルゴリズムの設計に、どの程度有用か？

主な発見

• リッチ・曲率下界は、Wasserstein統計多様体上でのKL発散の測地線的凸性を介して定義され、学習ダイナミクスの幾何的特徴付けを提供する。
• 曲率下界は、KL発散のヘッセ行列の最小固有値として計算可能であり、観測収束速度の下界として一貫して機能することが確認された。
• 実証的結果から、パrameter領域が単体の境界から離れている間は、ヘッセ行列に基づく曲率下界が観測収束速度をよく追跡することが示されたが、境界に近づくにつれて差が拡大する傾向が見られた。
• 曲率下界は基準測度、統計モデル、およびグラウンド度合いに依存しており、モデルおよび度合いの設計を支援する可能性を示している。
• 理論的および実証的結果により、正のリッチ・曲率下界が、指数型分布族モデルにおけるWasserstein勾配フローの収束を速める要因であることが確認された。
• 本フレームワークは連続的標本空間に対しても自然に拡張可能であり、他のf-発散および計量構造への一般化を示唆している。