[論文レビュー] Neural Ordinary Differential Equations on Manifolds

Luca Falorsi, Patrick Forré|arXiv (Cornell University)|Jun 11, 2020

Model Reduction and Neural Networks参考文献 15被引用数 15

ひとこと要約

この論文は、ベクトル場と微分幾何学を活用することで、Neural ODE が滑らかな多様体へ拡張され、非ユークリッド空間における可逆な正規化流れを可能にする。主な貢献は、随伴感度法を余接束への上昇に応用した一般化されたフレームワークであり、複雑な多モーダル密度を有するハイパースフィア上での検証がなされている。

ABSTRACT

Normalizing flows are a powerful technique for obtaining reparameterizable samples from complex multimodal distributions. Unfortunately current approaches fall short when the underlying space has a non trivial topology, and are only available for the most basic geometries. Recently normalizing flows in Euclidean space based on Neural ODEs show great promise, yet suffer the same limitations. Using ideas from differential geometry and geometric control theory, we describe how neural ODEs can be extended to smooth manifolds. We show how vector fields provide a general framework for parameterizing a flexible class of invertible mapping on these spaces and we illustrate how gradient based learning can be performed. As a result we define a general methodology for building normalizing flows on manifolds.

研究の動機と目的

• 既存の正規化流れおよびNeural ODEはユークリッド空間に制限されており、非自明なトポロジーを有する多様体では機能しないという制限を解消すること。
• 滑らかな多様体上での可逆的かつ再パラメトリゼーション可能な流れを構築する一般化された手法を考案すること。
• 微分幾何制御理論における余接束への上昇に一般化された随伴感度法を用いて、多様体上での勾配ベースの学習を可能にすること。
• 連続的正規化流れを用いて、ハイパースフィアのような多様体上での複雑な多モーダル密度のモデリングの可能性を示すこと。

提案手法

• 滑らかな時変ベクトル場 X: ℝ × M → TM を用いて、多様体 M 上の微分同相写像をパラメータ化する。
• ベクトル場の積分曲線として流れを定義し、存在・一意性定理により可逆性と滑らかさを保証する。
• 元のベクトル場の余接束への上昇を用いて、余接 bundle T*M 上の上昇されたODEを解くことにより、多様体上のODEに随伴感度法を適用する。
• 変数変換の公式を用いて密度変換を計算し、対数尤度のヤコビアン行列式は、軌道に沿ったベクトル場の発散を統合することで得られる。
• 座標関数 z_i: M → ℝ のリーマン勾配を用いて、埋め込まれた多様体上でのベクトル場を生成する。特に、等長埋め込みには直交射影を用いる。
• n次元ハイパースフィア S^n においてフレームワークを検証し、ℝ^{n+1} 内の標準基底ベクトルの射影によりベクトル場を構築する。

実験結果

リサーチクエスチョン

• RQ1 非自明なトポロジーを有する多様体にNeural ODEを一般化することで、連続的正規化流れを実現できるか？
• RQ2 多様体上のベクトル場に随伴感度法を拡張し、エンドツーエンドのバックプロパゲーションを可能にする方法は何か？
• RQ3 流れによる勾配計算を可能にするために、余接束への上昇はどのような役割を果たすか？
• RQ4 ニューラルネットワークを用いて多様体上のベクトル場をパラメータ化する方法は何か？
• RQ5 提案されたフレームワークは、ハイパースフィアのような非ユークリッド空間上での複雑な多モーダル密度をモデリングできるか？

主な発見

• ベクトル場を連続的流れとして用いることで、フレームワークはNeural ODEを滑らかな多様体へ一般化し、可逆的かつ微分可能な変換を可能にする。
• 余接束 T*M 上のODEを解くことで、多様体上への随伴法が拡張され、元のベクトル場の余接束への上昇が逆方向ダイナミクスとして機能する。
• 等長埋め込み多様体（例：ハイパースフィア S^n）では、ℝ^{n+1} 内の標準基底ベクトルの直交射影によりベクトル場を生成でき、実用的なパラメータ化手法が得られる。
• S^n 上のベクトル場の発散は、位置ベクトルの負と比例し、Δz = -nz と表され、対数尤度ヤコビアン行列式の正確な計算が可能になる。
• ハイパースフィア上での複雑な多モーダル密度のモデリングが、付録Aの概念実証により示された。
• 従来の方法が単純なトポロジーに制限されていたのに対し、本フレームワークは一般化され、幾何学的に整合性のある正規化流れの構築を可能にする。