[論文レビュー] Moser Flow: Divergence-based Generative Modeling on Manifolds

Noam Rozen, Aditya Grover+2 more|arXiv (Cornell University)|Aug 18, 2021

3D Shape Modeling and Analysis参考文献 33被引用数 5

ひとこと要約

Moser Flow (MF) は、多様体上の生成モデルのための新しい連続正規化流れ (CNF) フレームワークであり、モデル密度を事前密度からニューラルネットワークの発散を引いた形でパラメータライズする。多様体上での発散作用素の局所性と計算の簡便さを活用することで、MF は学習中に ODE を解く必要がなくなり、球面や一般の曲がった表面、さらには現実の気象科学分野のデータセットを含む、複雑な幾何構造上でも高速な収束と密度推定およびサンプリング品質の最先端性能を達成する。

ABSTRACT

We are interested in learning generative models for complex geometries described via manifolds, such as spheres, tori, and other implicit surfaces. Current extensions of existing (Euclidean) generative models are restricted to specific geometries and typically suffer from high computational costs. We introduce Moser Flow (MF), a new class of generative models within the family of continuous normalizing flows (CNF). MF also produces a CNF via a solution to the change-of-variable formula, however differently from other CNF methods, its model (learned) density is parameterized as the source (prior) density minus the divergence of a neural network (NN). The divergence is a local, linear differential operator, easy to approximate and calculate on manifolds. Therefore, unlike other CNFs, MF does not require invoking or backpropagating through an ODE solver during training. Furthermore, representing the model density explicitly as the divergence of a NN rather than as a solution of an ODE facilitates learning high fidelity densities. Theoretically, we prove that MF constitutes a universal density approximator under suitable assumptions. Empirically, we demonstrate for the first time the use of flow models for sampling from general curved surfaces and achieve significant improvements in density estimation, sample quality, and training complexity over existing CNFs on challenging synthetic geometries and real-world benchmarks from the earth and climate sciences.

研究の動機と目的

• 球面、トーラス、一般の曲がった表面のような非ユークリッド的多様体上でのスケーラブルで効率的な正規化流れフレームワークの開発を目的とする。
• 既存の連続正規化流れ (CNF) が多様体上で学習する際の ODE 解法による計算ボトルネックを克服することを目的とする。
• 地球・気象科学分野の現実のデータを含む、複雑な幾何構造上でも高精度な密度推定とサンプル生成を可能とすることを目的とする。
• 任意の正の密度をユークリッド的部分多様体上で近似可能なモデルの理論的普遍性を確立することを目的とする。
• 球面幾何を越えて、初めて一般の曲がった表面に対して CNF に基づく生成モデルを拡張することを目的とする。

提案手法

• MF は、ターゲット密度を事前密度からニューラルネットワークのベクトル場の発散を引いた形でパラメータライズし、多様体上での発散を局所的かつ線形な微分作用素として活用する。
• Moser の定理および Dacorogna–Moser の定理を用いることで、ODE を解かなくても、このパラメータライズが有効な CNF 解を導くことを保証する。
• 学習中に ODE ソルバーへのバックプロパゲーションを回避し、直接発散項を最適化することで、学習コストを顕著に削減する。
• 多様体制約付きの流れでは、ニューラルネットワークの出力を多様体の接空間に射影することで、ベクトル場が多様体に接するように保証する。
• このフレームワークはユークリッド的部分多様体へ拡張され、球面や一般の曲がった表面のような埋め込み多様体への応用を可能にする。
• 理論的分析により、適切な条件下で MF がコンパクトで連結され、境界のないリーマン多様体上の正の密度を普遍的に近似可能であることが証明されている。

実験結果

リサーチクエスチョン

• RQ1 学習中に ODE を解かずに、多様体上での表現力が保たれる正規化流れを設計できるか？
• RQ2 ニューラルネットワークの発散を直接モデル密度のパラメータライズに用いることで、曲がった幾何構造上での学習効率とサンプル品質を向上させられるか？
• RQ3 Moser Flow は、球面や一般の曲がった表面のような複雑な多様体上でも、密度推定および生成の分野で最先端の性能を達成できるか？
• RQ4 Moser Flow は、リーマン多様体上での任意の正の密度を近似可能であるという理論的普遍性を有するか？
• RQ5 Moser Flow は、地球温暖化や地理的情報データなど、非ユークリッド幾何を持つ現実の科学的データセットに対しても、成功裏に応用可能か？

主な発見

• Moser Flow は、世界的な火山噴火、地震、洪水、野火の分布を含む 4 つの現実の地球・気象科学データセットにおいて、リーマン多様体上の CNF よりも平均で 49% の密度推定性能向上を達成した。
• 既存の CNF ベースラインと比較して、合成された曲がった表面上で高品質なサンプルを生成する際の収束速度が著しく速い。
• 初めてとして、Moser Flow は球面を越えて一般の曲がった表面（例：スタンフォード・バニー）上でも連続正規化流れの学習を可能にし、高品質なサンプル生成を実現した。
• 球面多様体上では、既存の CNF やパラメトリック手法を上回る、最先端のサンプル品質と密度推定性能を達成した。
• 学習中に ODE を解く必要がなくなったことで、Moser Flow は学習の複雑さを低減し、複雑な幾何構造上でも効率的な最適化を可能にした。
• 理論的分析により、標準的な仮定の下で、Moser Flow がコンパクトで連結され、境界のないリーマン多様体上での普遍的密度近似可能であることが確認された。