[论文解读] GibbsNet: Iterative Adversarial Inference for Deep Graphical Models

Alex Lamb, Devon Hjelm+4 more|arXiv (Cornell University)|Dec 12, 2017

Adversarial Robustness in Machine Learning被引用 5

一句话总结

GibbsNet 提出了一种新颖的迭代对抗推理框架，用于深度图模型，结合了有向模型的采样效率与无向模型的表达性先验。通过训练一个类似 GAN 的判别器，以区分真实数据与来自短马尔可夫链的样本，它学习到一个具有复杂、数据驱动先验 $p(z)$ 的联合分布 $p(x,z)$，从而在无需任务特定微调的情况下，实现高质量的无条件生成、图像修复以及图像-属性联合建模。

ABSTRACT

Directed latent variable models that formulate the joint distribution as $p(x,z) = p(z) p(x \mid z)$ have the advantage of fast and exact sampling. However, these models have the weakness of needing to specify $p(z)$, often with a simple fixed prior that limits the expressiveness of the model. Undirected latent variable models discard the requirement that $p(z)$ be specified with a prior, yet sampling from them generally requires an iterative procedure such as blocked Gibbs-sampling that may require many steps to draw samples from the joint distribution $p(x, z)$. We propose a novel approach to learning the joint distribution between the data and a latent code which uses an adversarially learned iterative procedure to gradually refine the joint distribution, $p(x, z)$, to better match with the data distribution on each step. GibbsNet is the best of both worlds both in theory and in practice. Achieving the speed and simplicity of a directed latent variable model, it is guaranteed (assuming the adversarial game reaches the virtual training criteria global minimum) to produce samples from $p(x, z)$ with only a few sampling iterations. Achieving the expressiveness and flexibility of an undirected latent variable model, GibbsNet does away with the need for an explicit $p(z)$ and has the ability to do attribute prediction, class-conditional generation, and joint image-attribute modeling in a single model which is not trained for any of these specific tasks. We show empirically that GibbsNet is able to learn a more complex $p(z)$ and show that this leads to improved inpainting and iterative refinement of $p(x, z)$ for dozens of steps and stable generation without collapse for thousands of steps, despite being trained on only a few steps.

研究动机与目标

• 解决有向模型（如 VAE）中固定先验的局限性，后者限制了模型的表达能力。
• 克服无向模型（如 DBM 和玻尔兹曼机）采样缓慢及训练困难的问题。
• 在单一统一框架内实现图像与属性的联合建模，以及条件生成与图像修复。
• 开发一种训练过程，确保即使在训练期间仅使用少数采样步数，马尔可夫链的平稳分布也能匹配数据分布。
• 在仅使用极少采样步数进行训练的情况下，实现稳定、高质量的生成与推理，且无模式崩溃现象。

提出的方法

• 定义一个交替采样 $x$ 从 $p(x|z)$ 和 $z$ 从 $q(z|x)$ 的马尔可夫链，通过学习的转移算子模拟吉布斯采样。
• 训练一个联合判别器 $D(z,x)$，以区分真实数据对 $(z_{\text{real}}, x_{\text{real}})$ 与来自未钳制链的生成数据对。
• 使用 GAN 风格的目标函数更新生成器与推理网络，确保链的平稳分布与数据分布一致。
• 使用联合对抗目标函数训练编码器 $q(z|x)$ 与生成器 $p(x|z)$，避免显式建模 $p(z)$。
• 通过交替更新 $x$ 与 $z$ 来执行推理与采样，最终样本在几步之后获得。
• 使用连续与离散边界寻找 GAN，对混合模态数据（如图像与二值属性）进行训练，实现联合分布学习。

实验结果

研究问题

• RQ1 在通过对抗目标函数训练时，仅使用少数采样步数的马尔可夫链能否实现高质量的生成与推理？
• RQ2 先验 $p(z)$ 是否能通过数据与模型动态隐式塑造，而非预先固定？
• RQ3 所提出的迭代对抗训练过程是否能导致与数据分布匹配的平稳分布？
• RQ4 同一模型能否在无需任务特定微调的情况下，同时实现无条件生成、图像修复与图像-属性联合建模？
• RQ5 与现有方法（如 ALI 和非平衡热力学）相比，该模型在样本质量与采样效率方面表现如何？

主要发现

• 在 CIFAR-10 上，GibbsNet 在无条件生成任务中实现了 5.69 的 Inception Score，优于 ALI（5.41），且在仅使用 20 步采样、经过 1000 步训练后，与非平衡热力学方法相当或更优。
• 图像修复结果表明，GibbsNet 生成的重建结果在质量和一致性上均优于 ALI，即使两模型使用相同的 $p(x|z)$ 与 $q(z|x)$ 架构。
• 在图像修复任务中，模型实现了 6.15 的 Inception Score，表明其在无需显式训练该任务的情况下，仍具备强大的条件生成能力。
• 所学习的潜在空间 $p(z)$ 具有复杂性与解耦性，当使用 $q(z|x)$ 作为特征提取器时，能显著提升下游分类性能。
• 尽管仅在马尔可夫链的少数几步上进行训练，GibbsNet 在推理阶段仍能生成稳定样本，且在数千步内无崩溃现象。
• 通过使用单一模型成功实现了 CelebA 数据集中图像与 40 个二值属性的联合建模，其中使用离散 BGAN 进行属性生成，连续 BGAN 进行图像生成。