[论文解读] Implicit Generation and Modeling in Energy-Based Models

Yilun Du, Igor Mordatch|arXiv (Cornell University)|Jan 1, 2019

Anomaly Detection Techniques and Applications参考文献 28被引用 168

一句话总结

本文提出了一种基于MCMC的可扩展训练方法，用于连续神经网络上的能量模型（EBMs），实现了在ImageNet和机器人轨迹数据上的高质量隐式生成。该方法在样本质量、分布外检测、对抗鲁棒性以及长时程轨迹预测方面均达到最先进性能，展示了EBMs在多样化学习任务中的多功能性。

ABSTRACT

Energy based models (EBMs) are appealing due to their generality and simplicity in likelihood modeling, but have been traditionally difficult to train. We present techniques to scale MCMC based EBM training on continuous neural networks, and we show its success on the high-dimensional data domains of ImageNet32x32, ImageNet128x128, CIFAR-10, and robotic hand trajectories, achieving better samples than other likelihood models and nearing the performance of contemporary GAN approaches, while covering all modes of the data. We highlight some unique capabilities of implicit generation such as compositionality and corrupt image reconstruction and inpainting. Finally, we show that EBMs are useful models across a wide variety of tasks, achieving state-of-the-art out-of-distribution classification, adversarially robust classification, state-of-the-art continual online class learning, and coherent long term predicted trajectory rollouts.

研究动机与目标

• 解决由于计算和采样困难，在高维连续数据上训练能量模型（EBMs）这一长期存在的挑战。
• 实现在复杂数据分布（如ImageNet和机器人手部轨迹）上的有效隐式生成。
• 证明EBMs在样本质量上可与GANs相媲美，同时覆盖所有数据模式。
• 探索EBMs在生成之外的应用，包括分布外检测、对抗鲁棒性以及持续学习。
• 研究隐式生成在统一EBM框架下的独特能力，如组合性与图像修复。

提出的方法

• 在连续神经网络上采用基于MCMC的EBM训练，实现在高维空间中的可扩展优化。
• 借鉴基于得分的生成建模原理，提升EBM训练中的采样效率与训练稳定性。
• 采用类似噪声对比估计的目标函数，近似能量函数而无需显式计算似然。
• 将MCMC采样与神经网络参数化相结合，实现在大规模数据集上的端到端训练。
• 将训练好的EBM应用于下游任务，如分布外检测和对抗鲁棒分类。
• 利用隐式模型结构，在无需显式解码器网络的情况下执行组合性与图像重建任务。

实验结果

研究问题

• RQ1 基于MCMC的EBM训练能否扩展到ImageNet和机器人轨迹等高维数据？
• RQ2 基于EBM的隐式生成在样本质量上与基于似然的模型及GANs相比如何？
• RQ3 EBMs在无需显式生成头的情况下，能在多大程度上支持组合性生成与图像修复？
• RQ4 EBMs能否在分布外检测与对抗鲁棒性方面达到最先进性能？
• RQ5 EBMs在持续在线类别学习与长期轨迹预测方面效果如何？

主要发现

• 所提出的基于MCMC的EBM训练在ImageNet32x32和ImageNet128x128上实现了与当代GANs及其他基于似然的模型相当或更优的样本质量。
• 该模型成功覆盖了数据分布的所有模式，避免了生成模型中常见的模式崩溃问题。
• EBMs在分布外检测方面表现强劲，在基准测试中达到最先进结果。
• 该模型展现出对抗鲁棒性，在对抗训练分类任务中优于标准生成模型。
• EBMs实现了持续在线类别学习的最先进性能，能够适应新类别而不会发生灾难性遗忘。
• 隐式生成框架支持连贯的长期轨迹滚动生成，并能有效执行图像修复与重建。