[论文解读] Density estimation on low-dimensional manifolds: an inflation-deflation approach

Christian Horvat, Pfister, Jean-Pascal|arXiv (Cornell University)|May 25, 2021

Neural Networks and Applications参考文献 20被引用 1

一句话总结

本文提出了一种膨胀-去膨胀方法，以实现对高维空间中嵌入的低维流形上的精确密度估计的归一化流（NFs）。通过在法空间中添加噪声来膨胀数据流形，于膨胀空间中训练归一化流，并利用几何约束将学习到的密度精确地反向变形回原始空间，该方法在充分条件下实现了精确密度估计，且计算开销与标准NFs相同，无需进行流的反演。

ABSTRACT

Normalizing Flows (NFs) are universal density estimators based on Neural Networks. However, this universality is limited: the density's support needs to be diffeomorphic to a Euclidean space. In this paper, we propose a novel method to overcome this limitation without sacrificing universality. The proposed method inflates the data manifold by adding noise in the normal space, trains an NF on this inflated manifold, and, finally, deflates the learned density. Our main result provides sufficient conditions on the manifold and the specific choice of noise under which the corresponding estimator is exact. Our method has the same computational complexity as NFs and does not require computing an inverse flow. We also show that, if the embedding dimension is much larger than the manifold dimension, noise in the normal space can be well approximated by Gaussian noise. This allows using our method for approximating arbitrary densities on unknown manifolds provided that the manifold dimension is known.

研究动机与目标

• 为克服归一化流在估计低维流形上密度时因数据支撑集必须微分同胚于欧几里得空间而带来的拓扑限制。
• 开发一种方法，在保持归一化流通用性的同时，实现在高维空间中嵌入的流形上的精确密度估计。
• 消除推理过程中对归一化流反演的需求，从而保持训练效率，并支持使用自回归流。
• 提供理论上的充分条件，以确保去膨胀后的密度估计是精确的，基于流形几何与噪声分布的性质。
• 表明当嵌入维度D远大于流形维度d时，法空间中的高斯噪声可近似满足所需的噪声分布，从而在已知流形维度d的情况下，可应用于未知流形。

提出的方法

• 通过在法空间中添加噪声，将原始d维流形X ⊂ R^D进行膨胀，得到膨胀后的流形X̃ ⊂ R^D。
• 在膨胀后的流形上训练标准归一化流F_θ^(-1)，以学习膨胀数据ỹ ∼ q(ỹ)的密度q(ỹ)，使用R^d上的参考测度p_U(u)。
• 利用膨胀变换的逆，将学习到的密度q(ỹ)反向变形回原始流形，从而得到真实密度p*(x)的估计p̂(x)。
• 在法空间中使用特定的噪声分布——即支持于流形法丛上的分布——使得去膨胀后可精确恢复原始密度。
• 利用在高维环境空间（D ≫ d）中，各向同性高斯噪声在R^D中可近似满足所需的法空间噪声这一事实，从而实现对未知流形的实际应用。
• 建立理论条件，确保去膨胀过程能精确恢复真实密度，依赖于流形的几何结构以及噪声分布的支撑集与密度特性。

实验结果

研究问题

• RQ1 在何种流形与噪声分布条件下，可在膨胀流形上训练的归一化流精确恢复原始流形上的真实密度？
• RQ2 该膨胀-去膨胀框架是否能在克服归一化流在低维流形上拓扑限制的同时，保持其通用性？
• RQ3 该方法是否保持计算效率，避免在推理过程中反演归一化流？
• RQ4 在高维空间（D ≫ d）中，高斯噪声是否可作为未知流形所需法空间噪声的实用近似？
• RQ5 在已知流形维度d的前提下，是否可能使用该方法对未知低维流形上的任意密度进行估计？

主要发现

• 在满足几何与噪声分布条件时，该方法可在低维流形上实现精确密度估计，证明去膨胀后的密度与真实密度p*(x)完全匹配。
• 该方法保持了标准归一化流的计算复杂度，且在推理过程中无需反演流，从而支持使用高效的自回归流。
• 当环境维度D远大于流形维度d时，R^D中的各向同性高斯噪声能良好近似所需法空间噪声，从而实现对未知流形的实际应用。
• 该方法是首个建立在黎曼流形上使用归一化流实现精确密度估计的理论框架，填补了文献中的关键空白。
• 在合成流形（如S^1、S^2、SO(2)）上的实验结果表明，该方法在密度估计方面优于标准NFs和现有的流形流基线，尤其在存在噪声和高维设置下表现更优。
• 在SO(2)上的KS检验结果表明，使用法空间噪声（NID）的方法显著优于各向同性噪声（IID），在σ² = 0.01时达到最优性能，证实了理论上的噪声分布优势。