[论文解读] Flow Models for Arbitrary Conditional Likelihoods

Yang Li, Shoaib Akbar+1 more|arXiv (Cornell University)|Sep 13, 2019

Simulation Techniques and Applications参考文献 36被引用 8

一句话总结

本文提出了ACFlow，一种新颖的归一化流框架，可对任意特征子集在给定任意观测协变量条件下的可 tractable 条件似然进行估计。通过结合条件可逆变换与自回归似然建模，ACFlow 在合成数据集和真实世界数据集上的任意条件建模、边缘化以及单次和多次插补任务中均实现了最先进性能。

ABSTRACT

Understanding the dependencies among features of a dataset is at the core of most unsupervised learning tasks. However, a majority of generative modeling approaches are focused solely on the joint distribution $p(x)$ and utilize models where it is intractable to obtain the conditional distribution of some arbitrary subset of features $x_u$ given the rest of the observed covariates $x_o$: $p(x_u \mid x_o)$. Traditional conditional approaches provide a model for a fixed set of covariates conditioned on another fixed set of observed covariates. Instead, in this work we develop a model that is capable of yielding all conditional distributions $p(x_u \mid x_o)$ (for arbitrary $x_u$) via tractable conditional likelihoods. We propose a novel extension of (change of variables based) flow generative models, arbitrary conditioning flow models (AC-Flow), that can be conditioned on arbitrary subsets of observed covariates, which was previously infeasible. We apply AC-Flow to the imputation of features, and also develop a unified platform for both multiple and single imputation by introducing an auxiliary objective that provides a principled single "best guess" for flow models. Extensive empirical evaluations show that our models achieve state-of-the-art performance in both single and multiple imputation across image inpainting and feature imputation in synthetic and real-world datasets. Code is available at https://github.com/lupalab/ACFlow.

研究动机与目标

• 解决现有流模型无法高效计算任意未观测特征子集 $x_u$ 在给定观测协变量 $x_o$ 条件下的条件分布 $p(x_u \mid x_o)$ 的局限性。
• 开发一种统一的生成模型，能够在单一框架内对联合分布、任意条件分布和任意边缘分布进行建模。
• 以一种原则性的概率方式实现单次和多次插补，并提出一种新颖的辅助目标，用于在均值不可解析求解时生成“最佳猜测”。
• 将基于流的模型扩展至处理观测和未观测特征集合中任意维度的情况，而无需模型规模呈指数级增长。

提出的方法

• 引入可在任意特征子集上操作的条件可逆变换，实现对任意 $x_u$ 和 $x_o$ 的 $p(x_u \mid x_o)$ 的可 tractable 计算。
• 采用条件自回归似然方法，以增强条件分布的建模灵活性和表达能力。
• 提出一种新颖的辅助惩罚损失，用于在解析均值不可用时生成单个“最佳猜测”插补，从而提升点估计性能。
• 通过将边缘分布 $p(x_u)$ 视为在空集上条件分布 $p(x_u \mid \emptyset)$ 的方式，扩展框架以支持任意边缘化。
• 在推理过程中使用二值掩码 $b$ 动态选择观测特征子集 ($x_o = x[b]$) 和未观测特征子集 ($x_u = x[1-b]$)。
• 采用最大对数似然估计，使用高斯基分布，并通过采样评估方法对条件分布和插补任务进行评估。

实验结果

研究问题

• RQ1 一个单一的归一化流模型是否能够对任意特征子集 $x_u$ 在给定任意观测子集 $x_o$ 条件下，实现可 tractable 的条件似然 $p(x_u \mid x_o)$？
• RQ2 该模型是否能够在无需架构重新训练的情况下，泛化至联合分布建模和任意边缘化？
• RQ3 所提出的用于“最佳猜测”插补的辅助惩罚是否能提升点估计性能，而不降低样本多样性？
• RQ4 ACFlow 在多种数据集上的条件似然和插补质量方面，与现有模型相比表现如何？

主要发现

• ACFlow 在基准数据集上对任意条件似然的建模实现了最先进性能，其在似然和插补质量方面均优于先前方法。
• 在 MNIST、Omniglot 和 CelebA 数据集上，ACFlow+BG 分别取得了 20.828、18.838 和 25.723 的 PSNR 分数，显著优于 VAEAC。
• ACFlow 的 PRD 分数显示高召回率（0.984–0.988）和高精确率（0.945–0.970），表明其对真实数据分布的覆盖范围和保真度均很强。
• 辅助的“最佳猜测”惩罚使 PSNR 提升最高达 3.5 分，且未降低 PRD 分数，证实其在不损害样本多样性的情况下增强了点估计性能。
• 在特征插补任务中，ACFlow+BG 实现了最先进水平的 NRMSE 分数，尤其在高缺失率下表现更优，显示出对缺失数据模式的强鲁棒性。
• 定性结果表明，即使在高缺失率下，ACFlow 仍能生成清晰、多样且细节丰富的修复图像，其在视觉质量和细节恢复方面优于 VAEAC。