[论文解读] Enhancing Diffusion-Based Image Synthesis with Robust Classifier Guidance

Bahjat Kawar, Roy Ganz+1 more|arXiv (Cornell University)|Aug 18, 2022

Generative Adversarial Networks and Image Synthesis被引用 10

一句话总结

本文提出使用一种对抗性鲁棒的、时变分类器来引导基于扩散的图像生成，替代标准的非鲁棒分类器。通过训练一个其梯度与人类感知对齐的鲁棒分类器，该方法在ImageNet上生成的图像在语义上更具意义、感知上更连贯，显著优于基线分类器引导方法，在FID、用户偏好和梯度可解释性方面表现更优。

ABSTRACT

Denoising diffusion probabilistic models (DDPMs) are a recent family of generative models that achieve state-of-the-art results. In order to obtain class-conditional generation, it was suggested to guide the diffusion process by gradients from a time-dependent classifier. While the idea is theoretically sound, deep learning-based classifiers are infamously susceptible to gradient-based adversarial attacks. Therefore, while traditional classifiers may achieve good accuracy scores, their gradients are possibly unreliable and might hinder the improvement of the generation results. Recent work discovered that adversarially robust classifiers exhibit gradients that are aligned with human perception, and these could better guide a generative process towards semantically meaningful images. We utilize this observation by defining and training a time-dependent adversarially robust classifier and use it as guidance for a generative diffusion model. In experiments on the highly challenging and diverse ImageNet dataset, our scheme introduces significantly more intelligible intermediate gradients, better alignment with theoretical findings, as well as improved generation results under several evaluation metrics. Furthermore, we conduct an opinion survey whose findings indicate that human raters prefer our method's results.

研究动机与目标

• 为解决非鲁棒分类器在引导扩散模型时产生的不可靠且难以解释的梯度问题。
• 探究已知具有感知对齐梯度的对抗性鲁棒分类器是否能改善分类器引导的图像生成。
• 开发一种与高分辨率、类别条件扩散模型兼容的时变鲁棒分类器训练方案。
• 证明鲁棒分类器引导可生成更高质量的图像，并产生比标准分类器引导更具意义的中间梯度。
• 在具有挑战性的ImageNet数据集上，通过定量指标和人类评估验证该方法。

提出的方法

• 训练一个接受当前扩散步数作为输入的时变分类器，实现在去噪过程中的动态引导。
• 对分类器应用对抗性训练，以提升其对基于梯度攻击的鲁棒性，确保梯度反映语义内容。
• 使用鲁棒分类器的梯度来引导扩散模型的反向去噪过程，替代标准的非鲁棒分类器引导。
• 将鲁棒分类器引导集成到类别条件扩散模型中，保持模块化并支持多类别生成。
• 独立训练分类器与扩散模型，实现对高分辨率和多样化数据集的可扩展性。
• 采用两阶段训练策略：先训练扩散模型，再训练鲁棒分类器以引导它，确保兼容性与性能。

实验结果

研究问题

• RQ1 在基于扩散的图像生成背景下，对抗性鲁棒分类器是否能产生比标准分类器更符合感知的梯度？
• RQ2 在高分辨率、多样化数据集（如ImageNet）上，使用鲁棒分类器引导是否能提升生成图像的质量与连贯性？
• RQ3 与非鲁棒分类器相比，鲁棒分类器的中间梯度在可解释性和语义相关性方面有何差异？
• RQ4 鲁棒分类器引导是否能在自动指标（如FID）和人类评估中均优于基线分类器引导？
• RQ5 所提出的方法是否具备模块化与可扩展性，适用于多类别生成及其他基于扩散的架构？

主要发现

• 所提出的鲁棒分类器引导在ImageNet上显著提升了FID分数，证明了更高的图像保真度与多样性。
• 人类评分调查表明，参与者明显更偏好使用鲁棒分类器引导生成的图像，而非标准分类器引导生成的图像。
• 鲁棒分类器的中间梯度表现出更强的语义对齐性，更具可理解性，反映了有意义的图像特征。
• 该方法解决了原始分类器引导中的关键问题，如早期去噪步骤中噪声大且无信息的梯度。
• 鲁棒分类器的梯度在时间步之间更加稳定和一致，更符合基于得分的生成理论预期。
• 该方法无需重新训练基础扩散模型即可实现有效的多类别生成，显著提升了模块化与灵活性。