[論文レビュー] Density estimation on low-dimensional manifolds: an inflation-deflation approach

Christian Horvat, Pfister, Jean-Pascal|arXiv (Cornell University)|May 25, 2021

Neural Networks and Applications参考文献 20被引用数 1

ひとこと要約

本稿では、高次元空間に埋め込まれた低次元多様体上での正確な密度推定を可能にする、インフレーション・デインフレーション手法を提案する。データ多様体を法線空間に沿ってノイズでインフレートし、インフレートされた空間で正規化フロー（NF）を学習した後、幾何的制約を用いて正確に元の多様体に戻すことで、十分な条件下で正確な密度推定を達成する。標準的なNFと同等の計算コストであり、フローの逆算を必要としない。

ABSTRACT

Normalizing Flows (NFs) are universal density estimators based on Neural Networks. However, this universality is limited: the density's support needs to be diffeomorphic to a Euclidean space. In this paper, we propose a novel method to overcome this limitation without sacrificing universality. The proposed method inflates the data manifold by adding noise in the normal space, trains an NF on this inflated manifold, and, finally, deflates the learned density. Our main result provides sufficient conditions on the manifold and the specific choice of noise under which the corresponding estimator is exact. Our method has the same computational complexity as NFs and does not require computing an inverse flow. We also show that, if the embedding dimension is much larger than the manifold dimension, noise in the normal space can be well approximated by Gaussian noise. This allows using our method for approximating arbitrary densities on unknown manifolds provided that the manifold dimension is known.

研究の動機と目的

• 正規化フローがユークリッド空間に微分同相であることを要件としているため、低次元多様体上での密度推定において、そのトポロジー的制限を克服すること。
• 低次元多様体が高次元空間に埋め込まれた状態でも、正規化フローの普遍性を保ちつつ正確な密度推定を可能にする手法を開発すること。
• 推論時に正規化フローを逆算する必要を排除することにより、学習効率を保ち、自己回帰型フローの利用を可能とすること。
• 多様体の幾何とノイズ分布に基づいて、デインフレートされた密度推定が正確に回復される理論的十分条件を提示すること。
• 埋め込み次元Dが多様体次元dよりも著しく大きい（D ≫ d）場合、法線空間におけるガウスノイズが必要なノイズ分布を良好に近似できることを示し、多様体次元dが既知であれば未知の多様体に対しても応用可能となること。

提案手法

• 元のd次元多様体X ⊂ R^Dを、法線空間に沿ってノイズを加えることでインフレートし、インフレートされた多様体X̃ ⊂ R^Dを構築する。
• インフレートされた多様体上で標準的な正規化フローF_θ^(-1)を学習し、R^d上の基準測度p_U(u)を用いて、インフレートされたデータỹ ∼ q(ỹ)の密度q(ỹ)を推定する。
• インフレート変換の逆変換を用いて、学習済み密度q(ỹ)を元の多様体に戻すことで、真の密度p*(x)の推定値p̂(x)を生成する。
• 法線バンドル上にサポートを持つ特定のノイズ分布を用いることで、デインフレート後に元の密度を正確に回復可能となる。
• 高次元周囲空間（D ≫ d）において、R^D上の等方的ガウスノイズが法線空間における必要なノイズ分布を良好に近似できることを活用し、未知の多様体に対しても実用的応用が可能となる。
• 多様体の幾何とノイズ分布のサポートおよび密度に依存する理論的条件を確立し、デインフレートプロセスが真の密度を正確に回復することを保証する。

実験結果

リサーチクエスチョン

• RQ1 多様体とノイズ分布のどのような条件下で、インフレートされた多様体上で学習された正規化フローが、元の多様体上の真の密度を正確に回復できるか？
• RQ2 インフレーション・デインフレーションフレームワークは、正規化フローの普遍性を保ちつつ、低次元多様体上でのトポロジー的制約を克服できるか？
• RQ3 この手法は、推論時にフローを逆算する必要がなく、計算効率を維持するか？
• RQ4 高次元空間（D ≫ d）におけるガウスノイズが、未知の多様体に対して必要な法線空間ノイズの実用的近似として機能するか？
• RQ5 多様体次元dが既知であれば、未知の低次元多様体上に任意の密度を推定可能か？

主な発見

• 提示された手法は、十分な幾何的条件およびノイズ分布条件のもとで、低次元多様体上での正確な密度推定を達成し、デインフレートされた密度が真の密度p*(x)と正確に一致することを証明した。
• 標準的な正規化フローと同等の計算複雑性を維持しており、推論時にフローを逆算する必要がなく、効率的な自己回帰型フローの利用が可能である。
• 埋め込み次元Dが多様体次元dよりも著しく大きい（D ≫ d）場合、R^D上の等方的ガウスノイズが法線空間に制限された必要なノイズ分布を良好に近似でき、未知の多様体への実用的応用を可能にする。
• 本手法は、リーマン多様体上での正規化フローを用いた正確な密度推定のための理論的十分条件を初めて確立したフレームワークであり、文献における重要な空白を埋めた。
• 合成多様体（例：S^1, S^2, SO(2)）における実験結果から、標準的なNFや既存の多様体フローのベースラインと比較して、ノイズ環境や高次元設定下でも密度推定性能が優れていることが示された。
• SO(2)におけるKS検定の結果、法線空間ノイズ（NID）を用いた手法は等方的ノイズ（IID）よりも顕著に誤差が小さく、最適な性能はσ² = 0.01で達成された。理論的優位性が実証された。