[論文レビュー] Style Injection in Diffusion: A Training-free Approach for Adapting Large-scale Diffusion Models for Style Transfer

Jiwoo Chung, Sangeek Hyun+1 more|arXiv (Cornell University)|Dec 11, 2023

Generative Adversarial Networks and Image Synthesis被引用数 5

ひとこと要約

本稿では、推論時に自己注意機構の特徴を操作することで、微調整を必要としない大規模な拡散モデル向けのスタイル変換手法を提案する。具体的には、推論中にコンテンツ画像のキーおよび値特徴をスタイル画像のものに置き換えることで、局所的なテクスチャ類似度に基づいてスタイルを転送し、コンテンツ構造を保持する。この手法により、最適化を伴わずに最先端の性能を達成する。

ABSTRACT

Despite the impressive generative capabilities of diffusion models, existing diffusion model-based style transfer methods require inference-stage optimization (e.g. fine-tuning or textual inversion of style) which is time-consuming, or fails to leverage the generative ability of large-scale diffusion models. To address these issues, we introduce a novel artistic style transfer method based on a pre-trained large-scale diffusion model without any optimization. Specifically, we manipulate the features of self-attention layers as the way the cross-attention mechanism works; in the generation process, substituting the key and value of content with those of style image. This approach provides several desirable characteristics for style transfer including 1) preservation of content by transferring similar styles into similar image patches and 2) transfer of style based on similarity of local texture (e.g. edge) between content and style images. Furthermore, we introduce query preservation and attention temperature scaling to mitigate the issue of disruption of original content, and initial latent Adaptive Instance Normalization (AdaIN) to deal with the disharmonious color (failure to transfer the colors of style). Our experimental results demonstrate that our proposed method surpasses state-of-the-art methods in both conventional and diffusion-based style transfer baselines.

研究の動機と目的

• 微調整やテキストインバージョンなどの時間のかかる最適化を必要とする従来の拡散モデルベースのスタイル変換手法の限界を解消すること。
• Stable Diffusion などの大規模な事前学習済み拡散モデルにおいて、再訓練や最適化なしに効果的なスタイル変換を可能にすること。
• 自己注意層の内在的な注意メカニズムを活用して、コンテンツの意味的整合性と空間的レイアウトを保持したままスタイルを転送すること。
• クエリの保持と適応的インスタンス正規化（AdaIN）を用いて、コンテンツの破壊や色の不調和といった問題を軽減すること。
• 推論時に学習可能なパラメータを用いて、ユーザーが調整可能なスタイル化強度を実現する、柔軟なスタイル・コンテンツのトレードオフ制御を可能にすること。

提案手法

• コンテンツ画像の順伝播処理において、特に局所的なテクスチャに敏感な後段のデコーダー層で、自己注意層のキーおよび値特徴をスタイル画像のものに置き換えることでスタイルをインジェクションする。
• 元のコンテンツクエリ特徴の一部を保持することでクエリ保持を実現し、元の画像構造の歪みを防ぐ。
• 注意マップの鋭さを向上させるために注意温度スケーリングを導入し、ぼやけを低減し、生成画像の詳細の忠実度を向上させる。
• 初期潜在空間における適応的インスタンス正規化（AdaIN）を適用し、生成画像の色分布をターゲットのスタイル画像に一致させる。
• 推論時にコンテンツ保持とスタイル転送強度のトレードオフを制御するための学習可能なパラメータ γ を使用する。
• モデルのファインチューニング、テキストインバージョン、勾配ベースの最適化を一切行わず、完全に推論時のみで動作する。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みの拡散モデルにおける自己注意特徴を操作することで、ファインチューニングやテキストインバージョンなしに微調整なしのスタイル変換が可能になるか？
• RQ2 スタイル画像の自己注意層のキーおよび値を置き換えることで、コンテンツ構造が保持され、局所的なテクスチャ類似度に基づいてスタイルが転送されるか？
• RQ3 クエリ保持と注意温度スケーリングは、スタイルインジェクション時のコンテンツ破壊を最小限に抑えるのにどの程度有効か？
• RQ4 初期潜在空間におけるAdaINは、スタイル変換結果における色の不調和を効果的に解消できるか？
• RQ5 既存のベースラインと比較して、提案手法はどの程度柔軟なスタイル・コンテンツのトレードオフ制御を実現できるか？

主な発見

• 提案手法は、スタイル・フレーチェット・インセプション距離（ArtFID）28.80 および FID 18.13 を達成し、従来手法および拡散モデルベースのスタイル変換手法において両方で最先端の性能を発揮した。
• アブレーションスタディにより、スタイルインジェクションがスタイル変換に不可欠であることが確認され、その除去により ArtFID は 28.80 から 43.72 に、FID は 18.13 から 27.13 に上昇した。
• 注意温度スケーリングは画像品質を著しく向上させ、FID は τ=1.0 時の 18.13 から τ=1.5 時の 17.21 に低下し、LPIPS も 0.505 から 0.535 に改善された。
• 初期潜在空間におけるAdaINは色の転送を向上させ、その除去により LPIPS は 0.505（デフォルト）から 0.390 に低下した。これは色の忠実度が向上したことを示している。
• γ を用いた柔軟なスタイル・コンテンツのトレードオフ制御が可能であり、γ の値が低いほど強いスタイル化が、高いほどコンテンツの保持が強化されることが、FID および LPIPS の指標を通じて検証された。
• テキストガイドド手法と比較して、提案手法はより高いスタイル忠実度を達成しており、テキストプロンプトではテクスチャや色のトーンといったスタイルの詳細を十分に捉えきれないことが示された。