[論文レビュー] Flows for simultaneous manifold learning and density estimation

Johann Brehmer, K. Cranmer|arXiv (Cornell University)|Mar 31, 2020

Computational Physics and Python Applications参考文献 20被引用数 33

ひとこと要約

データ多様体を学習し、それ上の扱いやすい密度を学習する manifold-learning flows (M-flows) を導入し、多様体学習と密度推定を分離することで推論とノイズ除去を改善する。

ABSTRACT

We introduce manifold-learning flows (M-flows), a new class of generative models that simultaneously learn the data manifold as well as a tractable probability density on that manifold. Combining aspects of normalizing flows, GANs, autoencoders, and energy-based models, they have the potential to represent datasets with a manifold structure more faithfully and provide handles on dimensionality reduction, denoising, and out-of-distribution detection. We argue why such models should not be trained by maximum likelihood alone and present a new training algorithm that separates manifold and density updates. In a range of experiments we demonstrate how M-flows learn the data manifold and allow for better inference than standard flows in the ambient data space.

研究の動機と目的

• 扱いやすい密度を持つ多様体構造を捉えるモデルの必要性を動機づける。
• 多様体上の密度を維持しつつデータ多様体を学習するフレームワークを提案する。
• 最大対数尤度だけでは正しい多様体を学習できない学習上の課題に対処する。
• 学習を安定化させるために多様体更新と密度更新を分離したトレーニング戦略を提供する。
• ambient-flow を基準とした場合に M-flows が多様体学習と推論を改善することを示す。

提案手法

• 多様体が g(u)=f(u,0) のレベル集合となる同相写像 f: U x V -> X を定義する。
• n 次元のフローと基底密度 p_u を用いて変換 h によって多様体座標 u をモデル化する。
• p_M(x) を p_u と g のヤコビ行列式（あるいは h のもの）から計算する。
• 基底から û をサンプルして g を適用し、学習された多様体上の x を得る。
• 任意の x を多様体上に射影するエンコーダ/デコーダのペアを提供し、再構成誤差を得る。
• 別個のエンコーダを持つバリアント（ encoder を備えた M-flow ）を提供し、潜在軸と多様体の整合性について議論する。

実験結果

リサーチクエスチョン

• RQ1 学習された多様体を、その多様体上に制限された扱いやすい密度と組み合わせることは可能か？
• RQ2 多様体更新と密度更新を分離することで学習の安定性と下流推論が改善されるか？
• RQ3 多様体上・外の点に対する射影、再構成、密度をどのように評価できるか？
• RQ4 正しい多様体形状を促進しつつその上の密度の正確性を維持する最適なトレーニング戦略は何か？
• RQ5 実験において M-flows は ambient flows や他の多様体認識モデルとどのように比較されるか？

主な発見

• M-flows は低次元の多様体とその多様体上に定義された扱いやすい密度を共同で学習する。
• そのモデルは任意のデータを学習された多様体へ射影し、再構成誤差と射影後の多様体上の密度を提供する。
• 素朴な尤度訓練は多様体学習を誤導する可能性があり、多様体構造と密度の別個の更新を促す。
• Gaussian-on-circle、多項式表面、Lorenz attractor、粒子物理、StyleGAN の多様体、実画像にわたる実験結果は ambient flows に対する多様体認識を伴う推論の改善を示す。