[論文レビュー] Enhancing Diffusion-Based Image Synthesis with Robust Classifier Guidance

Bahjat Kawar, Roy Ganz+1 more|arXiv (Cornell University)|Aug 18, 2022

Generative Adversarial Networks and Image Synthesis被引用数 10

ひとこと要約

本稿では、標準の非耐性分類器に代わり、敵対的に耐性があり時間依存性のある分類器を、拡散ベースの画像生成をガイドするために提案している。人間の知覚と整合する勾配を持つ耐性のある分類器を訓練することで、ImageNet上での画像生成において、意味的により明確で知覚的に整合性のある画像を著しく改善し、FIDスコア、ユーザーの好み、勾配の解釈可能性においてベースラインの分類器ガイドラインを上回る結果を得た。

ABSTRACT

Denoising diffusion probabilistic models (DDPMs) are a recent family of generative models that achieve state-of-the-art results. In order to obtain class-conditional generation, it was suggested to guide the diffusion process by gradients from a time-dependent classifier. While the idea is theoretically sound, deep learning-based classifiers are infamously susceptible to gradient-based adversarial attacks. Therefore, while traditional classifiers may achieve good accuracy scores, their gradients are possibly unreliable and might hinder the improvement of the generation results. Recent work discovered that adversarially robust classifiers exhibit gradients that are aligned with human perception, and these could better guide a generative process towards semantically meaningful images. We utilize this observation by defining and training a time-dependent adversarially robust classifier and use it as guidance for a generative diffusion model. In experiments on the highly challenging and diverse ImageNet dataset, our scheme introduces significantly more intelligible intermediate gradients, better alignment with theoretical findings, as well as improved generation results under several evaluation metrics. Furthermore, we conduct an opinion survey whose findings indicate that human raters prefer our method's results.

研究の動機と目的

• 非耐性分類器の限界を解消すること。特に、信頼性が低く解釈不能な勾配を生じる点に起因する。
• 知覚的に整合する勾配を持つことで知られる敵対的耐性のある分類器が、分類器ガイド付き画像生成を改善できるかどうかを調査すること。
• 高解像度・クラス条件付き拡散モデルと互換性がある、時間依存の耐性のある分類器の訓練方式を開発すること。
• 耐性のある分類器ガイドラインが、標準の分類器ガイドラインと比較して、画像品質の向上とより意味のある中間勾配をもたらすことを実証すること。
• 自動化された指標と人間評価を用いて、挑戦的なImageNetデータセット上で本手法を検証すること。

提案手法

• 現在の拡散ステップを入力として受ける時間依存分類器を訓練し、ノイズ除去プロセス全体にわたり動的ガイドラインを可能にする。
• 勾配ベースの攻撃に対して耐性を持つように分類器を敵対的訓練することで、勾配が意味的コンテンツを反映するように保証する。
• 耐性のある分類器の勾配を用いて、拡散モデルの逆方向ノイズ除去プロセスをガイドし、標準の非耐性分類器ガイドラインに代える。
• 耐性のある分類器ガイドラインをクラス条件付き拡散モデルに統合し、モジュラリティを保ちつつ複数クラスの生成を可能にする。
• 拡散モデルとは独立して分類器を訓練することで、高解像度および多様なデータセットへのスケーラビリティを実現する。
• 二段階訓練プロトコルを採用する：まず拡散モデルを訓練し、その後にそれをガイドする耐性のある分類器を訓練することで、互換性とパフォーマンスを保証する。

実験結果

リサーチクエスチョン

• RQ1 拡散ベースの画像生成の文脈において、敵対的耐性のある分類器は、標準の分類器と比較してより知覚的に整合する勾配を生成できるか？
• RQ2 耐性のある分類器ガイドラインを用いることで、ImageNetのような高解像度・多様なデータセット上での生成画像の質と整合性が向上するか？
• RQ3 耐性のある分類器からの中間勾配は、非耐性分類器からのものと比較して、解釈可能性と意味的関連性において優れているか？
• RQ4 耐性のある分類器ガイドラインは、自動指標（例：FID）および人間評価の両方において、ベースラインの分類器ガイドラインを上回るか？
• RQ5 提案手法は、複数クラスの生成や他の拡散ベースアーキテクチャへの拡張が可能で、モジュラリティがあるか？

主な発見

• 提案された耐性のある分類器ガイドラインは、ImageNetにおけるFIDスコアを著しく改善し、画像の忠実度と多様性が向上した。
• 人間レーティング調査では、耐性のある分類器ガイドラインで生成された画像が、標準の分類器ガイドラインによる画像よりも明確に好まれた。
• 耐性のある分類器からの中間勾配は、より強い意味的整合性を示し、意味のある画像特徴を反映しており、より理解しやすい。
• 本手法は、vanilla分類器ガイドラインの主な問題点（特に初期ノイズ除去段階でのノイズが多く意味のない勾配）を解消した。
• 耐性のある分類器の勾配は、時間ステップにわたってより安定的かつ一貫性があり、スコアベース生成の理論的期待とより整合する。
• 本手法は、ベースとなる拡散モデルの再訓練なしに、効果的な複数クラス生成を可能にし、モジュラリティと柔軟性を高めた。