[论文解读] High-Dimensional Probability Estimation with Deep Density Models

Oren Rippel, Ryan P. Adams|arXiv (Cornell University)|Feb 20, 2013

Generative Adversarial Networks and Image Synthesis被引用 59

一句话总结

该论文提出了深度密度模型（DDM），一种基于归一化流的方法，利用深度神经网络学习从高维数据到具有近似因子分解、已知边缘分布的潜在空间的双射、可逆变换。通过确保雅可比行列式可计算，DDM 实现了无需分区函数的精确密度估计，从而支持高效的似然计算、直接采样，并可应用于半监督学习和校准的贝叶斯分类。

ABSTRACT

One of the fundamental problems in machine learning is the estimation of a probability distribution from data. Many techniques have been proposed to study the structure of data, most often building around the assumption that observations lie on a lower-dimensional manifold of high probability. It has been more difficult, however, to exploit this insight to build explicit, tractable density models for high-dimensional data. In this paper, we introduce the deep density model (DDM), a new approach to density estimation. We exploit insights from deep learning to construct a bijective map to a representation space, under which the transformation of the distribution of the data is approximately factorized and has identical and known marginal densities. The simplicity of the latent distribution under the model allows us to feasibly explore it, and the invertibility of the map to characterize contraction of measure across it. This enables us to compute normalized densities for out-of-sample data. This combination of tractability and flexibility allows us to tackle a variety of probabilistic tasks on high-dimensional datasets, including: rapid computation of normalized densities at test-time without evaluating a partition function; generation of samples without MCMC; and characterization of the joint entropy of the data.

研究动机与目标

• 解决高维数据中可计算、归一化密度估计的挑战，其中传统方法如MCMC或分区函数计算不可行。
• 通过实现完全归一化、可计算的似然，克服现有模型的局限性——如无向模型（缺乏归一化）和有向模型（需要昂贵的推理）的限制。
• 利用深度学习和微分几何的洞见，构建灵活的可逆变换，将复杂的数据分布映射到简单、因子分解的潜在分布。
• 通过提供校准良好、归一化的概率估计，推动生成建模、半监督学习和贝叶斯分类的新应用。
• 通过学习到的潜在表示及其变换特性，表征高维数据分布的熵和信息论结构。

提出的方法

• 定义基于深度神经网络的双射变换（可逆映射），将观测数据空间映射到低维潜在空间。
• 优化该变换，使得潜在空间中的诱导分布近似因子分解，并具有已知、可计算的边缘密度（例如，贝塔分布或伯努利分布）。
• 使用变量变换公式计算归一化密度：$ p_{\mathbf{Y}}(\mathbf{y}) = p_{\mathbf{Z}}(\mathbf{z}) \cdot \left| \det \mathbf{J}_{\mathbf{y} \to \mathbf{z}} \right| $，其中 $ \mathbf{z} = f(\mathbf{y}) $ 且 $ \mathbf{J} $ 为变换的雅可比矩阵。
• 通过一种多样化过程，使潜在空间中的变量近似统计独立，从而鼓励稀疏、不相关的表示。
• 利用变换的可逆性，通过从简单潜在分布中采样并经由反向网络传递，实现直接采样。
• 通过训练类条件DDM并使用加权数据进行期望最大化算法，将模型应用于监督和半监督学习，以提升泛化性能。

实验结果

研究问题

• RQ1 我们能否构建一个灵活的可逆深度网络，将高维数据映射到具有可计算、因子分解边缘密度的潜在空间？
• RQ2 我们如何确保最终的密度估计是完全归一化的，而无需计算分区函数？
• RQ3 所学习的潜在表示在多大程度上能捕捉高维数据的内在结构，如流形或低维子空间？
• RQ4 DDM能否支持高效、精确的似然推断和直接采样，而无需MCMC，从而实现在概率建模中的实际应用？
• RQ5 如何利用DDM生成的归一化密度，构建校准良好的贝叶斯分类器，并通过基于密度的正则化改进半监督学习？

主要发现

• DDM通过利用可逆深度网络和可计算的雅可比行列式，实现了高维数据的精确、归一化密度估计，无需计算分区函数。
• 在MNIST数据集上，模型估计的边缘微熵为20.72，接近伯努利模型在参数 $ p \approx 0.0465 $ 下的理论值21.02，验证了潜在分布近似的准确性。
• 通过在潜在空间中采样并应用反向变换，模型实现了无需MCMC的直接采样，可视化结果展示了生成样本的质量。
• 基于类条件DDM构建的贝叶斯分类器在对异类样本施加低密度惩罚时，测试错误率为1.614%，显著优于原始混合模型（9.5%错误率）。
• 在约95%的高置信度预测样本中，DDM分类器的错误率仅为0.45%，表明其不确定性估计具有良好的校准性。
• 该方法通过在潜在空间中利用密度估计来利用未标记数据，支持半监督学习，实现使用加权数据的期望最大化算法训练混合模型。