[论文解读] A Method to Model Conditional Distributions with Normalizing Flows

Zhisheng Xiao, Qing Yan+1 more|arXiv (Cornell University)|Nov 5, 2019

Generative Adversarial Networks and Image Synthesis参考文献 14被引用 5

一句话总结

本文提出了一种新颖的归一化流方法，通过使用单一统一的似然损失来建模条件分布，实现了逆问题和条件生成的高效且稳定的训练。该方法无需手动调整损失权重，性能达到最先进水平，优于依赖多个损失项及敏感超参数的先前方法。

ABSTRACT

In this work, we investigate the use of normalizing flows to model conditional distributions. In particular, we use our proposed method to analyze inverse problems with invertible neural networks by maximizing the posterior likelihood. Our method uses only a single loss and is easy to train. This is an improvement on the previous method that solves similar inverse problems with invertible neural networks but which involves a combination of several loss terms with ad-hoc weighting. In addition, our method provides a natural framework to incorporate conditioning in normalizing flows, and therefore, we can train an invertible network to perform conditional generation. We analyze our method and perform a careful comparison with previous approaches. Simple experiments show the effectiveness of our method, and more comprehensive experimental evaluations are undergoing.

研究动机与目标

• 开发一种统一的、单损失训练框架，用于建模条件分布的归一化流，避免使用多个损失项及其任意权重。
• 通过使用可逆神经网络学习给定观测数据下潜在变量的后验分布，实现逆问题的有效推理。
• 通过学习特定输入条件下的数据分布，支持图像着色和图像到图像翻译等条件生成任务。
• 提供一种自然且可扩展的框架，用于在归一化流中引入条件信息，增强建模与生成能力。
• 通过实证验证该方法在复杂损失组合与超参数调优的先前方法对比下的鲁棒性与性能。

提出的方法

• 该方法使用条件归一化流，通过可逆神经网络将简单先验分布映射到复杂条件分布。
• 利用变量变换公式表述条件密度，其中数据的对数似然通过潜在变量的对数似然与流的雅可比行列式对数计算得出。
• 通过基于输入变量条件的耦合层构建流，将输入划分为两部分，其中一部分基于另一部分进行变换，从而实现可计算的可逆性与雅可比行列式计算。
• 通过最大化后验似然使用单一损失函数进行模型训练，消除了对多个损失项或手动超参数调优的需求。
• 该框架通过同一可逆架构同时支持推理（后验估计）与生成（从条件分布采样）。
• 该方法引入松弛的一热标签作为条件变量，实现可微分的条件化，提升训练稳定性。

实验结果

研究问题

• RQ1 能否仅使用单一统一的似然损失训练条件分布的归一化流，而无需依赖多个损失项及其任意权重？
• RQ2 与使用多个损失分量的先前方法相比，该方法在逆问题求解中的表现如何？
• RQ3 所提出的条件归一化流能否有效生成高质量的条件样本，例如基于特定类别标签或图像特征？
• RQ4 与先前方法不同，该方法在超参数扰动或损失项移除时是否仍保持鲁棒性能？
• RQ5 该模型在多大程度上可作为端到端推理网络，用于条件生成与后验估计？

主要发现

• 在混合实验中，该方法几乎精确恢复了后验分布，性能与先前使用多个损失项并经仔细调优的方法相当。
• 当移除关键损失分量（如反向损失）或改变其权重时，先前方法性能显著下降，而该方法凭借单一损失保持鲁棒。
• 在MNIST和Fashion-MNIST数据集上，模型生成了清晰且多样化的样本，且在所有类别中均表现出高质量的视觉效果。
• 通过前向传播作为推理网络，该方法在MNIST上达到98.4%的分类准确率，在Fashion-MNIST上达到90.1%，证明了其在生成之外的实用性。
• 通过固定潜在变量z实现的风格解耦在视觉上得到确认，即不同类别下固定z产生一致的风格。
• 该方法为归一化流中的条件化提供了一种自然且可扩展的框架，使同一架构中同时实现后验估计与条件生成成为可能。