[论文解读] Gaussianization Flows

Chenlin Meng, Song Yang+2 more|arXiv (Cornell University)|Mar 4, 2020

Gaussian Processes and Bayesian Inference参考文献 11被引用 7

一句话总结

本文提出高斯化流（Gaussianization Flows, GF），一种归一化流模型，通过可学习的迭代高斯化过程（基于Householder变换）与可微分的混合对数几率累积分布函数（CDF），实现高效的似然计算与快速、精确的反演。GF是连续分布的通用逼近器，在表格数据密度估计任务中表现优异，尤其在数据稀缺与分布偏移场景下，其鲁棒性与泛化能力优于Real NVP、Glow、FFJORD与MAF。

ABSTRACT

Iterative Gaussianization is a fixed-point iteration procedure that can transform any continuous random vector into a Gaussian one. Based on iterative Gaussianization, we propose a new type of normalizing flow model that enables both efficient computation of likelihoods and efficient inversion for sample generation. We demonstrate that these models, named Gaussianization flows, are universal approximators for continuous probability distributions under some regularity conditions. Because of this guaranteed expressivity, they can capture multimodal target distributions without compromising the efficiency of sample generation. Experimentally, we show that Gaussianization flows achieve better or comparable performance on several tabular datasets compared to other efficiently invertible flow models such as Real NVP, Glow and FFJORD. In particular, Gaussianization flows are easier to initialize, demonstrate better robustness with respect to different transformations of the training data, and generalize better on small training sets.

研究动机与目标

• 开发一种归一化流模型，实现高效的似然计算与快速、精确的样本生成。
• 解决现有流模型在表达能力、初始化方式以及对数据重参数化鲁棒性方面的局限性。
• 利用迭代高斯化作为理论基础，构建一种可训练、可解析计算的流架构，具备通用逼近能力。
• 在低数据量场景与分布偏移条件下，提升模型的泛化能力与鲁棒性，尤其当数据归一化不稳定时。

提出的方法

• 使用带可学习参数的堆叠Householder变换来参数化迭代高斯化过程，替代固定的线性映射。
• 采用可微分的混合对数几率分布建模边缘高斯化步骤，实现雅可比行列式计算的闭式解。
• 构建一个高斯化模块，结合线性变换（Householder）与逐元素非线性变换（CDF反演），二者均满足可逆性与可微性。
• 通过堆叠多个高斯化模块，构建深层流架构，实现似然的可解析计算，并通过反向传播实现高效反演。
• 使用对数几率核密度估计初始化混合对数几率组件，提升训练稳定性和鲁棒性。
• 通过变量变换公式，端到端地使用最大似然法训练整个模型。

实验结果

研究问题

• RQ1 基于迭代高斯化的流模型能否同时实现高效的似然评估与精确、快速的反演？
• RQ2 所提出的高斯化流架构在正则性条件下是否为连续概率分布的通用逼近器？
• RQ3 与现有归一化流相比，该模型在低数据量场景下的表现如何？
• RQ4 该模型对数据重参数化（如立方或仿射变换）的鲁棒性如何，这些变换可能破坏标准归一化假设？
• RQ5 当训练数据稀缺或分布发生偏移时，该模型能否实现良好的泛化能力？

主要发现

• 高斯化流在表格数据集上实现了SOTA或具有竞争力的负对数似然性能，MINiboone数据集测试损失为-4.41 nats，GAS数据集为47.69 nats，在多数设置下优于Real NVP、Glow与FFJORD。
• GF在小样本训练集上表现出更优的泛化能力，当训练样本仅500个时，显著优于FFJORD与NAF，尤其在HEPMASS与MINiboone数据集上。
• GF在各类数据变换（如立方与仿射变换）下保持稳定性能，而MAF-DDSF在这些变换下产生NaN，FFJORD则出现收敛问题。
• 该模型对数据重参数化表现出更强鲁棒性，在所有测试变换与数据集上均保持一致性能，而Real NVP、Glow与MAF在某些变换设置下会失效。
• 由于采用核密度估计初始化混合对数几率组件，GF更易于初始化，提升了训练稳定性与对数据重参数化的适应能力。
• 理论分析表明，在温和正则性条件下，GF是连续分布的通用逼近器，这归因于其与迭代高斯化的内在联系。