[論文レビュー] DiffStyler: Controllable Dual Diffusion for Text-Driven Image Stylization

Nisha Huang, Yuxin Zhang+6 more|arXiv (Cornell University)|Nov 19, 2022

Generative Adversarial Networks and Image Synthesis被引用数 5

ひとこと要約

DiffStyler は、テキスト駆動型画像スタイル化のための制御可能で二重の拡散フレームワークを提案する。ランダムノイズの代わりに学習可能なノイズを用いることで、コンテンツ構造を保持しつつ、二重の拡散パスによりスタイルの抽象化と現実性のバランスをとる。本手法は、品質とコンテンツ保持の両面で最先端の結果を達成し、GANベースおよびベースラインの拡散手法を、定性的および定量的評価の両面で上回る。

ABSTRACT

Despite the impressive results of arbitrary image-guided style transfer methods, text-driven image stylization has recently been proposed for transferring a natural image into a stylized one according to textual descriptions of the target style provided by the user. Unlike the previous image-to-image transfer approaches, text-guided stylization progress provides users with a more precise and intuitive way to express the desired style. However, the huge discrepancy between cross-modal inputs/outputs makes it challenging to conduct text-driven image stylization in a typical feed-forward CNN pipeline. In this paper, we present DiffStyler, a dual diffusion processing architecture to control the balance between the content and style of the diffused results. The cross-modal style information can be easily integrated as guidance during the diffusion process step-by-step. Furthermore, we propose a content image-based learnable noise on which the reverse denoising process is based, enabling the stylization results to better preserve the structure information of the content image. We validate the proposed DiffStyler beyond the baseline methods through extensive qualitative and quantitative experiments. Code is available at \url{https://github.com/haha-lisa/Diffstyler}.

研究の動機と目的

• スタイル画像に依存する GAN ベースおよび画像ガイドドスタイル化手法の限界に対処すること。これらの手法は芸術的表現を制限し、ピクセルの繰り返しアーチファクトに苦しむ。
• ランダムノイズが前向き拡散中にコンテンツを劣化させるため、拡散ベースのスタイル化においてグローバルなコンテンツ構造を保持する課題を克服すること。
• スタイル画像の参照なしに、自然言語記述を通じて、正確で直感的かつ柔軟なスタイル化を可能にすることにより、多様な芸術的スタイルを表現できるようにすること。
• 二重拡散アーキテクチャを用いて、生成画像におけるコンテンツ忠実度と芸術的抽象化の間でバランスの取れたトレードオフを達成すること。

提案手法

• 前向き拡散プロセスにおけるランダムノイズを、コンテンツ画像に基づく学習可能なノイズベクトルに置き換え、ノイズ除去段階で構造的詳細を保持する。
• 一つのパスは学習可能なノイズを用いてコンテンツ保持に注力し、もう一つのパスはテキスト埋め込みによってガイドされるスタイル抽象化に注力する、二重拡散アーキテクチャを実装する。
• クロスアテンション機構を介して各ノイズ除去ステップでテキストガイダンスを統合し、段階的でスタイル制御を可能にする。
• 数値ソルバーを最適化して高速化を図りながらも、生成品質を維持する。これにより、スタイリング忠実度に犠牲を払わず、推論時間を短縮する。
• 再構成損失と知覚的損失を用いて、エンドツーエンドでモデルを訓練し、コンテンツとスタイルの整合性を保証する。
• 計算効率を向上させるために潜在空間拡散を用いるが、完全な実装は今後の方向性として残されている。

実験結果

リサーチクエスチョン

• RQ1 前向きプロセスでランダムノイズを使用する場合、拡散モデルはコンテンツ画像のグローバルなコンテンツ構造をスタイル化中に効果的に保持できるか？
• RQ2 テキスト駆動スタイル化において、コンテンツ忠実度と芸術的抽象化の両方を同時に確保できるように、二重拡散パスをどのように設計できるか？
• RQ3 参照スタイル画像を必要としないで、テキスト記述のみで高品質で多様かつアーチファクトのないスタイル化をどの程度達成できるか？
• RQ4 さまざまなスタイル化タスクにおいて、学習可能なノイズはランダムノイズと比較して、構造的整合性をどの程度良好に維持できるか？

主な発見

• DiffStyler は、FID や LPIPS などの定量的指標および定性的な結果において、最先端の性能を達成し、SOTA の GAN ベースおよび拡散ベースのベースラインを上回る。
• 顔の特徴、建築の輪郭、複雑なテクスチャなどの細部まで、非常に抽象的または芸術的なスタイル下でも、コンテンツの詳細を効果的に保持している。
• 失敗事例では、テキストプロンプトに明示的に記載されていない要素が省かれる、または歪められる場合がある。これは、テキストのキーポイントに過剰に注目するリスクを示している。
• アブレーションスタディの結果、学習可能なノイズはランダムノイズと比較して、コンテンツ保持の観点で顕著に優れている。LPIPS は低く、FID スコアは高くなっている。
• 二重拡散機構により、城の窓や川の景観など、複雑な構造を持つシーンでも、より自然で繊細なスタイル化が可能になっている。
• 強力な結果を示しているが、GAN ベースのアプローチに比べて依然として遅いため、潜在的拡散やモデル蒸留が今後の最適化の可能性として有望である。