[论文解读] Cycle-Consistent Adversarial Learning as Approximate Bayesian Inference

Louis C. Tiao, Edwin V. Bonilla+1 more|arXiv (Cornell University)|Jun 5, 2018

Gaussian Processes and Bayesian Inference参考文献 37被引用 5

一句话总结

本文将无配对图像到图像翻译的CycleGAN框架视为隐变量模型（ILVM）中的一种近似贝叶斯推断，其中循环一致性对抗学习被视作通过最小化联合分布之间的对称KL散度来实现变分推断的方法。该方法在严谨的贝叶斯框架下统一了CycleGAN，提供了理论基础，并在基线方法之上实现了更优的潜在码重建性能。

ABSTRACT

We formalize the problem of learning interdomain correspondences in the absence of paired data as Bayesian inference in a latent variable model (LVM), where one seeks the underlying hidden representations of entities from one domain as entities from the other domain. First, we introduce implicit latent variable models, where the prior over hidden representations can be specified flexibly as an implicit distribution. Next, we develop a new variational inference (VI) algorithm for this model based on minimization of the symmetric Kullback-Leibler (KL) divergence between a variational joint and the exact joint distribution. Lastly, we demonstrate that the state-of-the-art cycle-consistent adversarial learning (CYCLEGAN) models can be derived as a special case within our proposed VI framework, thus establishing its connection to approximate Bayesian inference methods.

研究动机与目标

• 将无配对图像到图像翻译形式化为潜在变量模型（LVM）中的贝叶斯推断，以解决现有方法缺乏理论依据的问题。
• 为具有隐式先验（即仅通过样本定义、无密度函数）的潜在变量模型，开发一种新型变分推断（VI）算法。
• 建立CycleGAN与贝叶斯推断之间的理论联系，表明其组件可自然地从联合分布的变分近似中推导而出。
• 通过最小化近似联合分布与真实联合分布之间的对称KL散度，改进潜在表示的重建，从而提升模型保真度。

提出的方法

• 提出隐式潜在变量模型（ILVM），其中潜在变量的先验通过样本定义而非参数化密度函数，从而能够灵活建模复杂分布。
• 提出一种新型变分推断算法，使用对称KL散度来近似观测变量与潜在变量的完整联合分布，与标准VI中最小化前向KL不同。
• 推导出变分目标为最小化真实联合分布与变分近似之间对称KL散度，从而实现更好的支撑匹配。
• 将该框架应用于无配对图像翻译任务，表明CycleGAN的生成器与判别器损失分别对应于f-散度近似与循环一致性约束。
• 采用双流架构，分别使用独立的生成器实现前向与反向映射，其中对抗训练用于强制分布匹配，而循环一致性确保结构一致性。
• 引入潜在码重建目标以验证所学潜在空间的质量，通过先验样本与其重建结果之间的均方误差来衡量性能。

实验结果

研究问题

• RQ1 循环一致性对抗学习（CycleGAN）能否被解释为潜在变量模型中的一种近似贝叶斯推断形式？
• RQ2 如何将变分推断适配于具有隐式先验的模型，其中先验密度不可计算？
• RQ3 与标准变分推断相比，对称KL散度在改善联合分布近似方面起到何种作用？
• RQ4 CycleGAN的各组成部分——对抗损失与循环一致性——如何从贝叶斯变分推断框架中自然产生？
• RQ5 与现有方法相比，该框架是否能在无配对翻译任务中提升潜在码的重建性能？

主要发现

• 所提出的基于对称KL的变分推断方法在潜在码重建方面显著优于VAE与AVB基线模型，其均方误差（MSE）达到0.17，而VAE为0.88。
• 尽管在观测图像上的重建MSE相近（0.04），所提方法在潜在空间中表现出更优的保真度，表明其对联合分布的近似更优。
• CycleGAN被形式化为所提变分推断框架的一个特例，其中对抗损失对应于f-散度的近似，而循环一致性对应于对数概率项。
• 通过该方法学习到的潜在空间在MNIST数据集中成功实现了数字类别的解耦，即使无法访问其密度函数，仍能保持隐式先验分布的形状（香蕉形）。
• 该方法能够忠实近似观测变量与潜在变量之间的精确联合分布，表现为重建的潜在码与真实先验样本高度对齐。
• 该框架为CycleGAN提供了严谨的贝叶斯解释，解决了其原始表述中的理论模糊性，并支持不确定性量化。