[論文レビュー] Normalizing Flows on Riemannian Manifolds

Mevlana Gemici, Danilo Jimenez Rezende+1 more|arXiv (Cornell University)|Nov 7, 2016

Gaussian Processes and Bayesian Inference参考文献 16被引用数 46

ひとこと要約

この論文は、計量に起因するヤコビアン行列式を用いて、n次元球面Sⁿなどのリーマン多様体への正規化フローの一般化を図る。この手法により、非ユークリッド空間におけるスケーラブルで微分可能な密度推定が可能となり、逆ステレオグラフィック射影と接空間における正規化フローを用いて、Sⁿ上での複雑で多次元の分布の学習が実証された。

ABSTRACT

We consider the problem of density estimation on Riemannian manifolds. Density estimation on manifolds has many applications in fluid-mechanics, optics and plasma physics and it appears often when dealing with angular variables (such as used in protein folding, robot limbs, gene-expression) and in general directional statistics. In spite of the multitude of algorithms available for density estimation in the Euclidean spaces $\mathbf{R}^n$ that scale to large n (e.g. normalizing flows, kernel methods and variational approximations), most of these methods are not immediately suitable for density estimation in more general Riemannian manifolds. We revisit techniques related to homeomorphisms from differential geometry for projecting densities to sub-manifolds and use it to generalize the idea of normalizing flows to more general Riemannian manifolds. The resulting algorithm is scalable, simple to implement and suitable for use with automatic differentiation. We demonstrate concrete examples of this method on the n-sphere $\mathbf{S}^n$.

研究の動機と目的

• 球面、トーラス、単体などのリーマン多様体におけるスケーラブルで微分可能な密度推定手法の不足に応えること。
• ユークリッド空間で成功を収めた正規化フローを、次元を保存しない非ユークリッド多様体へ拡張し、ユニバーサル近似能力と勾配計算能力を維持すること。
• Rⁿから埋め込まれた多様体への次元が変わらない写像に標準ヤコビアン行列式を適用した場合の不正確な密度変換問題を解決すること。
• 方向変数や制約付きデータ（例えばタンパク質折りたたみやロボット工学における角度変数）のためのベイズ推論における複雑な事後分布近似を可能にすること。

提案手法

• 多様体M（例：Sⁿ）をその接空間Rⁿに写像する同相写像ϕ: Rⁿ → M ⊂ Rᵐを用い、ユークリッド空間におけるフロー変換を可能にする。
• 体積歪み要因√det Gを計算するためにリーマン計量G = JϕᵀJϕを適用し、次元が保存されない写像における密度変換を補正する。
• 正しい密度変換式p(u) = f(ϕ(u)) ⋅ √det(JϕᵀJϕ(u))を導出し、多様体からユークリッド空間への密度伝搬を正確に保証する。
• 逆ステレオグラフィック変換を、RⁿからSⁿへの一対一かつ微分可能な写像として具体例として採用し、計量行列式の閉形式表現を提供する。
• Rⁿ空間で標準的な正規化フロー（例：ニューラルネットワークでパrameter化された変換）を用い、複雑な密度を学習した後、多様体に戻して射影する。
• 自動微分を用いて対数尤度の勾配を計算し、多様体上でエンドツーエンドの学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 正規化フローは、n次元球面Sⁿなどのリーマン多様体に一般化可能であり、スケーラビリティと微分可能性を保ったままか？
• RQ2 RⁿからSⁿへの次元が異なる空間間の写像において、正しい密度変換の数式的定式化は何か？
• RQ3 標準ヤコビアン行列式と比較して、リーマン計量行列式を用いることで、多様体変換における密度の正確性はどのように向上するか？
• RQ4 このフレームワークを用いて、Sⁿなどの曲がった多様体上で複雑で多次元の密度を効果的に学習できるか？

主な発見

• リーマン計量行列式√det(JϕᵀJϕ)を用いることで、多様体上の密度変換が正しく計算され、内在的な曲率と次元の不一致を適切に反映する。
• 非正方行列写像に標準ヤコビアン行列式|det Jϕ|を適用すると、モンテカルロサンプルとの実証的不一致が示され、顕著な密度誤差が生じる。
• 逆ステレオグラフィック変換は、RⁿからSⁿへの有効で一対一かつ微分可能な写像を提供し、球面上でのフローに基づくモデリングを可能にする。
• Sⁿ上での計量行列式の導出式はdet G = (2 / (‖x‖² + 1))²ⁿであり、正確な密度計算に不可欠である。
• 実証的結果では、リーマン補正（赤線）が50万サンプルからのカーネル密度推定（青線）とよく一致するが、ナーブなユークリッド手法（緑線）は失敗する。
• このフレームワークにより、接空間Rⁿで変換・学習を行い、多様体に戻して射影することで、Sⁿ上での任意に複雑な密度の学習が可能になる。