[論文レビュー] Riemannian Continuous Normalizing Flows

Émile Mathieu, Maximilian Nickel|arXiv (Cornell University)|Jun 18, 2020

Mathematical Dynamics and Fractals参考文献 54被引用数 30

ひとこと要約

この論文はリーマン幾何学的連続正規化フロー（RCNFs）を導入し、流れを多様体上のODEで変化するベクトル場として定義することで、基礎となる幾何を尊重する表現力豊かな確率モデルを実現します。球面と双曲多様体、および地球科学の密度推定において標準のフローや投影フローよりも利点を示します。

ABSTRACT

Normalizing flows have shown great promise for modelling flexible probability distributions in a computationally tractable way. However, whilst data is often naturally described on Riemannian manifolds such as spheres, torii, and hyperbolic spaces, most normalizing flows implicitly assume a flat geometry, making them either misspecified or ill-suited in these situations. To overcome this problem, we introduce Riemannian continuous normalizing flows, a model which admits the parametrization of flexible probability measures on smooth manifolds by defining flows as the solution to ordinary differential equations. We show that this approach can lead to substantial improvements on both synthetic and real-world data when compared to standard flows or previously introduced projected flows.

研究の動機と目的

• 多様体値データのリーマン幾何を尊重する確率的モデリングの必要性を動機づける。
• 滑らかな多様体上でベクトル場を介して連続正規化フローを定義する体系的な枠組みを提案する。
• 流れの評価、尤度計算、基底分布の選択における幾何を意識した手法を開発する。
• 定曲率多様体（球面とポアンカレ円盤）および実世界の地球科学データセットに対して、RCNFsを素朴な、ラップ済み、投影法と比較する。
• 基準法に対する密度推定と学習効率の改善を示す。

提案手法

• 滑らかな完備多様体 M 上で dz(t)/dt = fθ(z(t), t) による時間発展として多様体フローを定義する。
• 緩和条件の下でベクトル流が M 上で C1-同相な流れ φ(·, t) を生み出すことを証明する。
• リーマン幾何度量 G(z) と発散の Hutchinson トレース推定量を用いた Liouville 型の密度変化によって尤度を計算する。
• 流れを数値積分する際、幾何に配慮した Runge-Kutta + 投影ベースの解法を用いてサンプルを多様体上に保つ。
• 幾何距離特徴を入力として接ベクトルを出力するニューラルネットワークでベクトル場 fθ をパラメータ化し、出力を TM へ射影する。
• 最大尤度または逆 KL 目的関数で訓練し、メモリ効率の良い自動微分を介して解法を逆伝搬する。）

実験結果

リサーチクエスチョン

• RQ1 連続正規化フローをユークリッド空間ではなくリーマン多様体上で直接動作させるようにどのように定式化できるか？
• RQ2 RCNFs は定曲率多様体全体で素朴な、ラップ済み、投影法ベースの多様体フロー手法より表現力と数値安定性が向上するか？
• RQ3 幾何を意識した尤度計算と発散推定が訓練の安定性と性能に与える影響は何か？
• RQ4 地球科学データセットなどの実世界の球面データにおける密度推定タスクで、RCNFsはベースラインと比較してどのように性能を発揮するか？

主な発見

• RCNFs は、目標分布が多様体境界付近の難しい領域に近づくにつれて、合成の双曲・球面タスクで素朴およびラップされた投影モデルを一貫して上回る。
• 球面データでは、RCNFs は準スティレオグラフィック投影法より対数尤度と逆KL性能が良く、特にターゲット質量が特異点に近づくときに顕著。
• 地球科学データセット（火山、地震、洪水、山火事）での密度推定において、RCNFs は投影法より早く収束し、反復回数を少なくて済む。
• 測地距離入力層とベクトル場出力の適切なスケーリングは、安定した訓練と関数評価の削減にとって重要である。
• 実世界データセットでの密度訓練は、RCNFs が射影ベースのアプローチよりもより厳密な適合と改善した汎化を提供することを示す。