[論文レビュー] Diffusion Guided Domain Adaptation of Image Generators

Kunpeng Song, Ligong Han+3 more|arXiv (Cornell University)|Dec 8, 2022

Generative Adversarial Networks and Image Synthesis被引用数 12

ひとこと要約

本論文は、テキストプロンプトのみを用いて、実際のターゲットドメイン画像が不要な画像生成用のドメイン適応手法を提案する。この手法は、分類器フリーの拡散モデルを固定された高品質な評価者として、スコア抽出抽出法（SDS）を用いて、GANを新しい画像ドメインへと誘導する。事前学習済みの拡散モデルからの蒸留と、拡散モデルガイド付き正則化項およびレイヤー選択の導入により、画像品質と制御性が向上し、最先端のFIDスコアとCLIPスコアを達成する。複雑なプロンプトにおいても、ターゲットドメインの実画像にアクセスせずに、先行研究を上回る性能を発揮する。

ABSTRACT

Can a text-to-image diffusion model be used as a training objective for adapting a GAN generator to another domain? In this paper, we show that the classifier-free guidance can be leveraged as a critic and enable generators to distill knowledge from large-scale text-to-image diffusion models. Generators can be efficiently shifted into new domains indicated by text prompts without access to groundtruth samples from target domains. We demonstrate the effectiveness and controllability of our method through extensive experiments. Although not trained to minimize CLIP loss, our model achieves equally high CLIP scores and significantly lower FID than prior work on short prompts, and outperforms the baseline qualitatively and quantitatively on long and complicated prompts. To our best knowledge, the proposed method is the first attempt at incorporating large-scale pre-trained diffusion models and distillation sampling for text-driven image generator domain adaptation and gives a quality previously beyond possible. Moreover, we extend our work to 3D-aware style-based generators and DreamBooth guidance.

研究の動機と目的

• ターゲットドメインの実画像を一切必要とせず、事前学習済みのGANジェネレータを新しい画像ドメインにゼロショットで適応可能にする。
• CLIPベースのガイドランスの限界（例えば、潜在空間の不整合やCLIP損失の最小化の困難さ）を克服するため、より情報量の多い評価者として拡散モデルを用いる。
• StableDiffusionのような大規模な拡散モデルの生成的事前分布を活用することで、テキスト駆動ドメイン適応における画像品質と多様性を向上させる。
• モデル崩壊を防止し、顔の表情や色などの意味的詳細を保持するための新しい正則化手法（拡散モデルガイド付き方向正則化項および再構成正則化項）を導入する。
• 本手法を3Dアウェアジェネレータ（例：EG3D）およびDreamBoothでファインチューニングされた拡散モデルへと拡張し、より広範な適用性を実現する。

提案手法

• 事前学習済みのテキストから画像への拡散モデル（例：StableDiffusion）からのスコア抽出抽出法（SDS）を、微分可能で画像空間に依存する評価者として用い、GANジェネレータの最適化をガイドする。
• 最適化中に顔の表情や色といった意味的詳細を保持するため、拡散モデルガイド付き方向正則化項（$\mathcal{L}_{SDS}^{dir}$）を導入する。
• 構造的忠実性を維持し、ぼやけを低減する再構成ベース正則化項（$\mathcal{L}_{SDS}^{rec}$）を適用する。特にレイヤー選択と組み合わせると効果的である。
• SDSのファインチューニングにおいてレイヤー選択を実施し、特定の特徴層に最適化を集中させることで、ぼやけを低減し、詳細の保持を向上させる。
• SDSのサンプリングステップ数 $T_{SDS}$ を制御することで、画像修正の大きさを調整する。高い値では構造的変更が可能となり、低い値では局所的詳細の保持が強化される。
• 3Dアウェアジェネレータ（EG3D）への拡張では、すべてのパラメータを固定し、トライプレーンConv層のみを微調整し、幾何学的忠実度を維持するためLPIPS損失を追加する。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みの拡散モデルは、ターゲットドメインの実画像が不要な状況でも、効果的で高品質な評価者としてGANジェネレータの適応をガイドできるか？
• RQ2 ゼロショットドメイン適応において、拡散モデルガイドランスとCLIPベースガイドランスの画像品質、多様性、制御性の観点での比較は？
• RQ3 適応過程での構造的変更と局所的詳細の変更の程度を制御する上で、$T_{SDS}$ の選択が果たす役割は何か？
• RQ4 拡散モデルガイドランス正則化項は、モデル崩壊を効果的に防止し、顔の表情や色といった意味的詳細を保持できるか？
• RQ5 本手法は、3DアウェアジェネレータやDreamBoothでファインチューニングされた個人向け拡散モデルへとどの程度拡張可能か？

主な発見

• 本手法は、CLIP損失を最小化しない状況でも、短いプロンプトにおいて先行研究を大きく上回る低いFIDスコアを達成し、優れた画像品質を示す。
• 長く複雑なプロンプトにおいても、定性的および定量的にベースラインを上回り、より一貫性があり多様性に富んだ画像を生成する。
• 拡散モデルガイドランス方向正則化項（$\mathcal{L}_{SDS}^{dir}$）により、ターゲットスタイルへの収束が速くなり、表情やイヤリングといった顔の詳細が保持される。非正則化ベースラインとは異なり、単一の暗い画像に劣化しない。
• SDSファインチューニングにおけるレイヤー選択によりぼやけが低減され、詳細の保持が向上する。選択されるレイヤー数が少ないほど、よりシャープな画像と、髪の毛の詳細の忠実度が向上する。
• 再構成正則化項（$\mathcal{L}_{SDS}^{rec}$）は構造的詳細をより多く維持するが、色の変更を制限する。一方、$\mathcal{L}_{SDS}^{dir}$ はやや詳細の忠実度が低下するが、色の変化をより許容する。
• 本手法は3Dアウェアジェネレータ（EG3D）に対しても成功裏に拡張され、より滑らかなメッシュ幾何学と、要求されたテキストプロンプトに一致する大きな目の領域を生成する。