[論文レビュー] StyleDiffusion: Controllable Disentangled Style Transfer via Diffusion Models

Zhizhong Wang, Lei Zhao+1 more|arXiv (Cornell University)|Aug 15, 2023

Generative Adversarial Networks and Image Synthesis被引用数 4

ひとこと要約

本稿では、コンテンツを明示的に抽出し、補完的なスタイルを暗黙的に学習する、制御可能で分離可能なスタイル変換を実現する新しい拡散ベースのフレームワーク、StyleDiffusionを提案する。CLIPに基づく損失関数と拡散モデルを活用してスタイル除去と生成を実現し、解釈可能でユーザーが制御可能なコンテンツとスタイルの分離を達成した。その結果、最先端のスタイル変換品質が実現された。

ABSTRACT

Content and style (C-S) disentanglement is a fundamental problem and critical challenge of style transfer. Existing approaches based on explicit definitions (e.g., Gram matrix) or implicit learning (e.g., GANs) are neither interpretable nor easy to control, resulting in entangled representations and less satisfying results. In this paper, we propose a new C-S disentangled framework for style transfer without using previous assumptions. The key insight is to explicitly extract the content information and implicitly learn the complementary style information, yielding interpretable and controllable C-S disentanglement and style transfer. A simple yet effective CLIP-based style disentanglement loss coordinated with a style reconstruction prior is introduced to disentangle C-S in the CLIP image space. By further leveraging the powerful style removal and generative ability of diffusion models, our framework achieves superior results than state of the art and flexible C-S disentanglement and trade-off control. Our work provides new insights into the C-S disentanglement in style transfer and demonstrates the potential of diffusion models for learning well-disentangled C-S characteristics.

研究の動機と目的

• 従来のスタイル変換手法が、グラム行列やGANベースの学習など、暗黙的または制御が難しいスタイル定義に依存しているという限界に対処すること。
• 教師信号や事前定義されたスタイル仮定に依存せずに、真正に分離されたコンテンツとスタイル表現を達成すること。
• 分離をコンテンツ抽出制御に変換することで、スタイル変換に対する解釈可能で柔軟な制御を可能にすること。
• 拡散モデルの生成能力を活用して、スタイル変換の忠実度と詳細の保持を向上させること。
• 拡散モデルを用いた画像生成における分離表現学習の新しいパラダイムを提供すること。

提案手法

• コンテンツ画像およびスタイル画像の両方からコンテンツを分離するために、色除去操作を適用する拡散ベースのスタイル除去モジュールを用いて、コンテンツ特徴を明示的に抽出する。
• スタイライズド出力を生成することで、拡散ベースのスタイル変換モジュールを用いて補完的なスタイル情報を暗黙的に学習する。
• CLIP埋め込み空間において、コンテンツ画像とスタイル画像の両方のコンテンツからスタイライズド出力へのマッピングを整列させるCLIPベースのスタイル分離損失を導入する。
• 訓練中に元のスタイル画像を再構築するよう促すことで、忠実なスタイル変換を保証するためのスタイル再構築事前分布を組み込む。
• 二段階の訓練プロセスを採用する：第一段階では、CLIP損失と再構築事前分布を用いてスタイル除去および変換モジュールを訓練する。第二段階では、より優れたスタイライズド出力を得るために、パイプライン全体をファインチューニングする。
• 拡散モデルの強力な生成能力を活用して、コンテンツ構造を保持した高品質で詳細なスタイライズド画像を生成する。

Figure 1: Overview of our proposed StyleDiffusion. The content image $I_{c}$ and style image $I_{s}$ are first fed into a diffusion-based style removal module to explicitly extract the domain-aligned content information. Then, the content of $I_{c}$ is fed into a diffusion-based style transfer modul

実験結果

リサーチクエスチョン

• RQ1 グラム行列のような明示的なスタイル定義に依存せずに、より解釈可能で制御可能なコンテンツとスタイルの分離を達成できるか？
• RQ2 拡散モデルを用いて、コンテンツを保持したまま画像からスタイルを除去することで、コンテンツとスタイルの分離を効果的に実現できるか？
• RQ3 CLIPベースの損失関数は、CLIP空間におけるコンテンツからスタイライズドへのマッピングを整列させることで、分離可能なスタイル変換を効果的にガイドできるか？
• RQ4 本手法は、スタイライズド品質、コンテンツ保持、分離忠実度の観点から、最先端の手法と比較してどのように優れているか？
• RQ5 本手法の失敗モードは何か。また、アーキテクチャ的・訓練的変更によってそれらをどのように緩和できるか？

主な発見

• StyleDiffusionは、Gatys [19]、EFDM [95]、TPFR [79]、ArtFlow [1] などの手法と比較して、定性的な評価において最先端の性能を達成した。
• 複数のデータセットにおけるズームイン比較から、コンテンツ構造が良好に保持された高精細なスタイライズド出力が得られた。
• CLIPベースの分離損失により、CLIP埋め込み空間におけるコンテンツとスタイライズド出力のマッピングの整合性が著しく向上し、より一貫性があり忠実なスタイル変換が実現した。
• スタイル再構築事前分布により、元のスタイル画像の色およびテクスチャ分布からの逸脱が低減され、スタイル変換の忠実度が向上した。
• 失敗事例として、色除去操作によって顕著なコンテンツ（例：赤いカリーフィッシュ）が消失する場合があるが、コントラストを保持するデカラー化技術を用いることで緩和可能である。
• 特にポインチリズムのような複雑なスタイルでは、スタイライズド出力に偏った色分布が生じる場合があり、それらを軽減するにはスタイル再構築イテレーション数を増やす必要があるが、その代わりに訓練時間が長くなる。

Figure 2: Illustration of different loss functions to transfer the disentangled style information. (a) L1 loss cannot guarantee the stylized results are within the style domain and may suffer from a collapse problem. (b) Direction loss aligns the disentangled directions but cannot realize accurate m