[論文レビュー] StyleAdapter: A Unified Stylized Image Generation Model

Zhouxia Wang, Xintao Wang+5 more|arXiv (Cornell University)|Sep 4, 2023

Generative Adversarial Networks and Image Synthesis被引用数 7

ひとこと要約

StyleAdapterは、テキストプロンプトとスタイルリファレンス画像を組み合わせて、高品質でコンテンツ忠実な画像を1回のパスで生成するLoRAフリーで単一のモデルを提案する。細分化されたスタイル転送を実現するため、2パスのクロスアテンションモジュールと3つのデカップリング戦略を採用し、プロンプトの制御性を向上させるとともに、リファレンスにおける意味的・スタイル的エンタングルメントを低減する。各スタイルごとの微調整を必要とせず、競争力ある性能を達成する。

ABSTRACT

This work focuses on generating high-quality images with specific style of reference images and content of provided textual descriptions. Current leading algorithms, i.e., DreamBooth and LoRA, require fine-tuning for each style, leading to time-consuming and computationally expensive processes. In this work, we propose StyleAdapter, a unified stylized image generation model capable of producing a variety of stylized images that match both the content of a given prompt and the style of reference images, without the need for per-style fine-tuning. It introduces a two-path cross-attention (TPCA) module to separately process style information and textual prompt, which cooperate with a semantic suppressing vision model (SSVM) to suppress the semantic content of style images. In this way, it can ensure that the prompt maintains control over the content of the generated images, while also mitigating the negative impact of semantic information in style references. This results in the content of the generated image adhering to the prompt, and its style aligning with the style references. Besides, our StyleAdapter can be integrated with existing controllable synthesis methods, such as T2I-adapter and ControlNet, to attain a more controllable and stable generation process. Extensive experiments demonstrate the superiority of our method over previous works.

研究の動機と目的

• 各スタイルごとの微調整を必要としない統合的でLoRAフリーのスタイル化画像生成用モデルの開発。
• テキストプロンプトとスタイルリファレンスを統合する際のプロンプト制御性の低下という課題の解決。
• リファレンス画像における意味的特徴とスタイル特徴の強い結合を軽減し、コンテンツ忠実度を向上。
• 再トレーニングなしで未観測のスタイルに一般化可能な単一パス生成の実現。
• ControlNet や T2I-Adapter などの既存の制御可能な生成手法との統合を可能にし、安定性と制御性を向上。

提案手法

• テキストプロンプトとスタイルリファレンス特徴を別々に処理した後、統合する2パスのクロスアテンションモジュール（TPCA）を導入。
• スタイルリファレンス画像のパッチ単位でのシャッフルを実施し、意味的・スタイル的相関を破壊し、特徴のエンタングルメントを低減。
• 特徴抽出時にCLIPのクラス埋め込みを削除することで、意味的コンテンツとスタイル表現をデカップリング。
• 同じスタイルを持つ多様な意味的オブジェクトをリファレンスとして用いることで、スタイルの一般化を向上させ、意味的バイアスを低減。
• TPCAとデカップリング戦略を統合し、単一パス生成用の統合推論パイプラインを構築。
• T2I-Adapter や ControlNet などの制御可能な生成手法との統合をサポートし、制御性を強化。

実験結果

リサーチクエスチョン

• RQ1 1つの統合モデルが、各スタイルごとの微調整を必要とせず、多様なスタイルで高品質なスタイル化画像を生成できるか。
• RQ2 テキストプロンプトと視覚的スタイルリファレンスを統合する際、どのようにしてプロンプト制御性を維持できるか。
• RQ3 リファレンス画像における意味的特徴とスタイル特徴をどの程度デカップリングできるか、コンテンツ忠実度の向上にどの程度寄与するか。
• RQ4 再トレーニングなしで未観測のスタイルに一般化可能であり、高いスタイル化品質と意味的正確性を維持できるか。
• RQ5 LoRAベースおよびテキストインバージョンベースの手法と比較して、性能と効率性においてどのように差がつくか。

主な発見

• StyleAdapterは、最先端の手法と比較して、テキスト類似度、スタイル類似度、画像品質のバランスに優れており、ベンチマーク上ではFIDが137.40、Style-Simが0.3976を達成した。
• アブレーションスタディの結果、TPCAとデカップリング戦略が不可欠であることが確認された。いずれのコンponentを削除しても、コンテンツ忠実度またはスタイル正確性が低下した。
• 複数のリファレンスとシャッフルを用いることで、モデルはプロンプトの内容（例：バケツの中の犬）を正確に再現しながら、リファレンスのテクスチャーやブラシストロークの詳細を保持した。
• 特にリファレンスに多様な意味的コンテキストが含まれる状況では、TIベースおよびLoRAベースの手法を上回るユーザーの好みとコンテンツ忠実度を達成した。
• 未観測のスタイルに対しても、テスト時適応なしで高い性能を維持しており、強力な一般化能力を示した。
• LoRAフリーであるにもかかわらず、StyleAdapterは競争力ある結果を達成したが、微細なスタイル化品質においてまだわずかにLoRAに劣る結果となった。