[論文レビュー] Neural Manifold Ordinary Differential Equations

Aaron Lou, Derek Lim+5 more|arXiv (Cornell University)|Jun 18, 2020

Generative Adversarial Networks and Image Synthesis被引用数 3

ひとこと要約

本稿では、局所的な幾何構造を活用することで、任意のリーマン多様体上での連続的な正規化流れを構築する一般化枠組みであるニューラル多様体常微分方程式（NM-ODE）を提案する。ニューラルODEを非ユークリッド空間に拡張することで、幾何構造に配慮した表現力のある密度推定が可能となり、多様体上での連続的な変数変換により、密度推定および下流タスクの両方で性能が向上する。

ABSTRACT

To better conform to data geometry, recent deep generative modelling techniques adapt Euclidean constructions to non-Euclidean spaces. In this paper, we study normalizing flows on manifolds. Previous work has developed flow models for specific cases; however, these advancements hand craft layers on a manifold-by-manifold basis, restricting generality and inducing cumbersome design constraints. We overcome these issues by introducing Neural Manifold Ordinary Differential Equations, a manifold generalization of Neural ODEs, which enables the construction of Manifold Continuous Normalizing Flows (MCNFs). MCNFs require only local geometry (therefore generalizing to arbitrary manifolds) and compute probabilities with continuous change of variables (allowing for a simple and expressive flow construction). We find that leveraging continuous manifold dynamics produces a marked improvement for both density estimation and downstream tasks.

研究の動機と目的

• 非ユークリッド的データ幾何構造に対する汎用的な正規化流れフレームワークの欠如に取り組む。
• 多様体固有の手作業で設計された流れ層の制限を克服し、一般性を制限し、設計の複雑さを増す要因を解消する。
• 任意のリーマン多様体に一般化可能な統一的で幾何構造に配慮した流れ構築法を開発する。
• 多様体上の連続的かつ表現力のある正規化流れを、局所的な幾何情報のみを用いて実現する。

提案手法

• リーマン多様体へのニューラルODEの一般化として、接バンドル上に定義されたベクトル場を用いるニューラル多様体ODEを提案する。
• 多様体上での連続的ODE系として流れのダイナミクスを定義し、多様体の幾何構造を尊重するようにパラメータ化されたニューラルネットワークを用いる。
• 多様体上での連続的変数変換の公式を活用し、離散化を伴わずに正確な尤度を計算する。
• 多様体に適合するニューラルネットワークを用いてベクトル場を構築することで、流れが可逆的かつ微分可能であることを保証する。
• 局所的なリーマン幾何（計量、接続）を活用し、データ多様体の固有の曲率を尊重するダイナミクスを定義する。
• 表現力は維持しつつ、多様な多様体に一般化可能な多様体連続正規化流れ（MCNF）を構築する。

実験結果

リサーチクエスチョン

• RQ1 多様体固有のアーキテクチャ設計を要せず、任意のリーマン多様体に一般化可能な連続的正規化流れを構築できるか？
• RQ2 局所的な多様体幾何構造を活用することで、ユークリッド的または手作業で設計された多様体流れと比較して、密度推定性能がどのように向上するか？
• RQ3 幾何構造に配慮した連続的ダイナミクスは、下流の生成モデリングタスクにどの程度向上効果をもたらすか？
• RQ4 1つのフレームワークとしてのニューラル多様体ODEは、アーキテクチャの再調整なしに、多様なデータ多様体で優れた性能を達成できるか？
• RQ5 多様体埋め込み流れにおける連続的変数変換の影響は、尤度および学習安定性の観点でどの程度か？

主な発見

• 本フレームワークは、データ多様体の内在的幾何構造を活用することで、多様体構造を持つデータにおける密度推定性能を顕著に向上させる。
• MCNFは、先行する多様体固有の流れモデルと比較して優れた尤度スコアを示し、表現力およびモデル精度の向上を示している。
• 再設計を要せず、任意の多様体に一般化可能であり、多様な幾何的データに適用可能な単一の統一アーキテクチャを実現する。
• ニューラル多様体ODEによる連続的ダイナミクスは、離散的または手作業で設計された層と比較して、より安定的かつ正確な尤度計算を可能にする。
• 下流タスクは、向上した生成モデリング能力により、下流の応用においてより優れた性能を示す。