[論文レビュー] Zero-Shot Contrastive Loss for Text-Guided Diffusion Image Style Transfer

Serin Yang, Hyunmin Hwang+1 more|arXiv (Cornell University)|Mar 15, 2023

Generative Adversarial Networks and Image Synthesis被引用数 5

ひとこと要約

本論文は、事前学習済みの拡散モデルにおける入力画像と生成画像の埋め込み間のパッチ単位の対照学習を活用することで、コンテンツを保持しながらスタイルを転送する、トレーニング不要のゼロショット対照損失（ZeCon）を提案する。この手法は、微調整や補助ネットワークを必要とせず、スタイル転送、画像対画像翻訳、および操作の分野で、既存の手法を上回る性能を発揮する。

ABSTRACT

Diffusion models have shown great promise in text-guided image style transfer, but there is a trade-off between style transformation and content preservation due to their stochastic nature. Existing methods require computationally expensive fine-tuning of diffusion models or additional neural network. To address this, here we propose a zero-shot contrastive loss for diffusion models that doesn't require additional fine-tuning or auxiliary networks. By leveraging patch-wise contrastive loss between generated samples and original image embeddings in the pre-trained diffusion model, our method can generate images with the same semantic content as the source image in a zero-shot manner. Our approach outperforms existing methods while preserving content and requiring no additional training, not only for image style transfer but also for image-to-image translation and manipulation. Our experimental results validate the effectiveness of our proposed method.

研究の動機と目的

• 拡散ベースの画像生成におけるスタイル転送とコンテンツ保持のトレードオフを解消すること。
• テキスト誘導型スタイル転送において、微調整や追加のニューラルネットワークの必要性を排除すること。
• 事前学習済みの拡散モデルの埋め込みを活用することで、ゼロショットでのコンテンツ保持を実現すること。
• 構造的および意味的コンテンツの忠実度を維持しながら、スタイル転送の品質を向上させること。
• 画像対画像翻訳および画像操作タスクへの応用可能性を拡張すること。

提案手法

• 事前学習済みの拡散モデルの潜在空間から抽出されたパッチ単位の特徴量に作用するゼロショット対照損失（ZeCon）を提案する。
• 事前学習済みの拡散モデル自身の特徴埋め込みを用いて、入力画像パッチと生成画像パッチの間の対照損失を計算する。
• CLIPに基づくテキストガイドランスをZeCon損失と統合し、拡散プロセスを望ましいスタイルへ誘導する。
• 逆ノイズ除去プロセス中に損失を適用し、各ステップでZeConとCLIP損失の勾配を用いて、ノイズ除去された画像を更新する。
• パッチベースの対照学習を用いることで、微細な構造的詳細の保持と同時に、グローバルなスタイル転送を実現する。
• 追加のトレーニング、微調整、または補助ネットワークを一切不要とし、計算効率が高く、即座に利用可能である。

Figure 1: Our style transfer method produces impressive results when applied to a range of artistic styles. The method preserves the underlying structure of the source images while transforming them into the desired styles.

実験結果

リサーチクエスチョン

• RQ1 微調整を伴わずに、ゼロショット対照損失がテキスト誘導型拡散画像スタイル転送における意味的コンテンツを保持できるか？
• RQ2 パッチ単位の対照学習は、VGGやMSE損失と比較して、構造的詳細の保持にどの程度優れているか？
• RQ3 提案手法は、多様なスタイルにわたり、高品質なスタイル転送を実現しながらコンテンツの忠実度を維持できるか？
• RQ4 この手法は、スタイル転送にとどまらず、画像対画像翻訳および画像操作タスクにも一般化可能か？
• RQ5 グローバル損失と方向性CLIP損失の相対的寄与度、およびパッチベースと全体画像ガイドランスの違いが、スタイル転送品質に与える影響は？

主な発見

• ユーザー研究の結果、ZeCon損失はMSEおよびVGG損失を個別に用いた場合や組み合わせた場合よりも、コンテンツ保持の点で顕著に優れており、コンテンツスコアは4.81（MSE：4.29、VGG：3.29）を記録した。
• アブレーションスタディの結果、ZeConが微細な構造的詳細（例：建物の窓）の保持に不可欠であることが確認され、除外された場合にはその詳細が消失することが判明した。
• グローバル損失と方向性CLIP損失の組み合わせは、グローバル損失単体よりもよりスタイリッシュな出力を得られ、方向性ガイドランスがスタイルの調整を強化していることが示された。
• パッチベースのガイドランスは、全体画像ガイドランスに比べて、より一貫性があり広範囲にわたるスタイル転送を可能にした。一方、全体画像ガイドランスは局所領域のスタイル転送に限定されがちである。
• 推論時間は38秒と高く、DiffusionCLIP（96秒）やDDIB（12秒）よりも顕著に高速であり、トレーニングやデータ準備を一切不要としている。
• 本手法は、画像対画像翻訳および外見の操作（例：年齢、性別、メイク）にも効果的に一般化でき、広範な応用可能性を示した。

Figure 2: Our proposed method. To guide the diffusion model in our proposed method, we calculate the ZeCon loss using a noise estimator $\epsilon_{\theta}(\cdot)$ and the CLIP loss using the CLIP model. These losses allow us to add gradients to the denoised image at each time step.