[论文解读] A RAD approach to deep mixture models

Laurent Dinh, Jascha Sohl‐Dickstein+2 more|arXiv (Cornell University)|Mar 18, 2019

Bayesian Methods and Mixture Models参考文献 56被引用 20

一句话总结

本文提出了一种名为 Real 和 Discrete（Rad）的归一化流架构，该架构结合了分段可逆变换与离散潜在变量，以对数据中的连续和离散结构进行建模。通过使用满射且局部可逆的映射，将数据在不同分区间折叠，Rad 实现了精确的似然计算、精确采样和精确推断，克服了标准归一化流在建模多模态或流形结构分布时的局限性。

ABSTRACT

Flow based models such as Real NVP are an extremely powerful approach to density estimation. However, existing flow based models are restricted to transforming continuous densities over a continuous input space into similarly continuous distributions over continuous latent variables. This makes them poorly suited for modeling and representing discrete structures in data distributions, for example class membership or discrete symmetries. To address this difficulty, we present a normalizing flow architecture which relies on domain partitioning using locally invertible functions, and possesses both real and discrete valued latent variables. This Real and Discrete (RAD) approach retains the desirable normalizing flow properties of exact sampling, exact inference, and analytically computable probabilities, while at the same time allowing simultaneous modeling of both continuous and discrete structure in a data distribution.

研究动机与目标

• 解决标准归一化流在建模离散结构（如多模态分布、离散对称性或位于多个流形并集上的数据）方面的局限性。
• 克服标准流在尝试将连续潜在空间映射到复杂且非光滑的数据分布时产生的数值不稳定性和优化挑战。
• 在同时包含实数和离散潜在变量的深度混合模型中，实现精确推断、精确采样以及可解析计算的对数似然。
• 在保持归一化流的优良特性（如可 tractable 似然和可逆性）的同时，通过领域分区将它们扩展至处理离散结构。
• 为深度混合模型中近似推断方法（如硬-EM 或变分推断）提供一种可扩展且精确的替代方案。

提出的方法

• 提出一种 Real 和 Discrete（Rad）流架构，利用分段可逆函数将输入空间划分为互不相交的子集，每个子集与一个离散标签相关联。
• 定义一种满射且局部可逆的变换，其中每个分区映射到潜在空间中的一个区域，离散标签 $ K $ 表示输入属于哪个分区。
• 使用分区函数 $ f_K(m{x}) $ 将每个输入 $ m{x} $ 分配到子集 $ m{A}_k $，从而实现似然的计算：$ p_X(m{x}) = p_K(f_K(m{x})) p_{X|K}(m{x} | f_K(m{x})) $，避免对所有分量求和。
• 设计 Rad 层，使每个分区应用不同的可逆变换，允许在不同模式之间折叠数据（例如连接不连通的流形），同时在每个区域内保持可逆性。
• 将离散标签 $ K $ 集成到流图中，使模型能够学习条件概率 $ p_{K|Z} $，从而在变换过程中有效保持不同模式之间的分离。
• 通过维护考虑分段结构和离散标签分配的雅可比行列式，确保精确的对数似然计算。

实验结果

研究问题

• RQ1 归一化流能否被扩展以在保留精确推断和似然评估的前提下，对多模态或流形结构的数据分布等离散结构进行建模？
• RQ2 如何设计分段可逆变换，以在单一流框架中同时支持连续和离散潜在变量？
• RQ3 流中的折叠机制能否在不需完全展开或引入数值不稳定性的情况下，有效连接不连通的模式（例如环形或螺旋形）？
• RQ4 在深度混合模型中，引入离散潜在变量在多大程度上提升了建模能力，同时又不牺牲训练效率或精确性？
• RQ5 与标准 Real NVP 相比，Rad 架构在处理具有内在离散对称性或聚类结构的数据分布时表现如何？

主要发现

• Rad 通过在最后几层对数据在不同模式之间折叠，成功建模了环形高斯混合分布，将多个不连通的模式转化为单一连续的潜在模式。
• 在螺旋问题中，Rad 将螺旋分解为三条独立的直线后再进行连接，而 Real NVP 则因依赖连续双射映射而无法有效展开流形。
• 离散标签 $ K $ 在变换过程中保持良好分离，原始标签不同的点在潜在空间中仍可区分，证明了对离散结构的有效建模。
• 即使在建模具有多个模式或流形的复杂非光滑数据分布时，Rad 仍能保持精确的对数似然计算和精确采样。
• 该方法避免了使用变分推断或硬-EM 等近似推断技术，使深度混合模型具备完全的可 tractable 性。
• 可视化结果证实，Rad 的折叠机制使模型能够学习复杂的、非双射但满射且局部可逆的映射，从而在结构化数据上实现有效的密度估计。