[論文レビュー] InstantStyle: Free Lunch towards Style-Preserving in Text-to-Image Generation

Haofan Wang, Spinelli, Matteo+4 more|arXiv (Cornell University)|Apr 3, 2024

Human Motion and Animation被引用数 4

ひとこと要約

InstantStyleは、特徴空間におけるコンテンツ埋め込みの差分をとることでスタイルとコンテンツを分離し、スタイル固有のブロックにのみ特徴を注入することで、チューニング不要なスタイル保持型テキスト-to-画像生成フレームワークを提案する。これにより、最小限のハイパーパrameterチューニングで優れたスタイル化が実現され、コンテンツ漏れが解消され、細部が保持される。

ABSTRACT

Tuning-free diffusion-based models have demonstrated significant potential in the realm of image personalization and customization. However, despite this notable progress, current models continue to grapple with several complex challenges in producing style-consistent image generation. Firstly, the concept of style is inherently underdetermined, encompassing a multitude of elements such as color, material, atmosphere, design, and structure, among others. Secondly, inversion-based methods are prone to style degradation, often resulting in the loss of fine-grained details. Lastly, adapter-based approaches frequently require meticulous weight tuning for each reference image to achieve a balance between style intensity and text controllability. In this paper, we commence by examining several compelling yet frequently overlooked observations. We then proceed to introduce InstantStyle, a framework designed to address these issues through the implementation of two key strategies: 1) A straightforward mechanism that decouples style and content from reference images within the feature space, predicated on the assumption that features within the same space can be either added to or subtracted from one another. 2) The injection of reference image features exclusively into style-specific blocks, thereby preventing style leaks and eschewing the need for cumbersome weight tuning, which often characterizes more parameter-heavy designs.Our work demonstrates superior visual stylization outcomes, striking an optimal balance between the intensity of style and the controllability of textual elements. Our codes will be available at https://github.com/InstantStyle/InstantStyle.

研究の動機と目的

• チューニング不要なテキスト-to-画像生成におけるスタイル劣化とコンテンツ漏れの課題に取り組む。
• 潜在空間再構築中に細部が消失するインバージョンベース手法の限界を克服する。
• アダプタベース手法における手動での重みチューニングの必要性を、スタイルとコンテンツの分離をより効果的にすることで排除する。
• ペairedデータセットや複雑なモジュール追加を必要とせず、一貫性のあるスタイル化を実現する。
• テキスト制御性と高精細なスタイル属性の両方を保持する、頑健なスタイル転送を実現する。

提案手法

• 特徴空間においてコンテンツ埋め込みを画像埋め込みから差分することで、スタイルとコンテンツを分離し、コンテンツ漏れを低減する。
• 参照画像の特徴を、スタイル固有のアテンションブロックにのみ注入することで、意図しないコンテンツの注入を防ぐ。
• アテンション層のアーキテクチャ的不変性を活用し、スタイル注入に最も効果的なブロックを特定する。
• 微調整なしで高レベルの表現を得るために、CLIPを画像特徴抽出器として利用する。
• ControlNetを含む既存のアテンションベースの注入技術と統合し、制御性を強化する。
• 初期チューニング後、注入強度を1.0に固定し、各参照画像ごとの重み調整の必要性を排除する。

実験結果

リサーチクエスチョン

• RQ1 ペairedデータセットや追加モジュールを必要とせずに、特徴空間におけるスタイルとコンテンツの有効な分離は可能か？
• RQ2 全アテンションへの注入と比較して、スタイル固有のブロックへの特徴注入は、スタイル化の忠実性を向上させるとともにコンテンツ漏れを低減するか？
• RQ3 コンテンツ埋め込みの差分処理により、アダプタベース手法における手動での重みチューニングの必要性が排除できるか？
• RQ4 提案手法は、視覚的品質とスタイルの一貫性において、既存のチューニング不要な手法と比較してどのように優れているか？
• RQ5 本フレームワークは、空間的構成が複雑なスタイルに対しても、どの程度一般化可能か？

主な発見

• コンテンツ埋め込みの差分処理によりコンテンツ漏れが顕著に低減され、差分強度が高くなるほど視覚的改善が観察された。
• スタイルブロックへの特徴注入のみが最良のパフォーマンスを発揮し、最も一貫性があり視覚的に正確なスタイル化が実現された。
• 初期設定後の手動での重みチューニングが一切不要であり、最先端の視覚的結果を達成した。
• ControlNetとの互換性があり、スタイルの忠実性とテキスト整合性を維持したまま、条件付きスタイル化が可能となった。
• テクスチャーや色といった細部が効果的に保持され、インバージョンベース手法で一般的に見られる劣化を回避した。
• 空間的レイアウトを含む多様なスタイルに対しても、良好な一般化性能を示したが、特定の状況ではレイアウトの注入が必要となる場合がある。