[论文解读] InstantStyle: Free Lunch towards Style-Preserving in Text-to-Image Generation

Haofan Wang, Spinelli, Matteo+4 more|arXiv (Cornell University)|Apr 3, 2024

Human Motion and Animation被引用 4

一句话总结

InstantStyle 通过在特征空间中通过内容嵌入相减和仅将特征注入特定于风格的模块，解耦风格与内容，提出了一种无需微调的风格保持型文本到图像生成框架。该方法实现了卓越的风格化效果，且超参数调优极少，消除了内容泄露并保留了细微细节。

ABSTRACT

Tuning-free diffusion-based models have demonstrated significant potential in the realm of image personalization and customization. However, despite this notable progress, current models continue to grapple with several complex challenges in producing style-consistent image generation. Firstly, the concept of style is inherently underdetermined, encompassing a multitude of elements such as color, material, atmosphere, design, and structure, among others. Secondly, inversion-based methods are prone to style degradation, often resulting in the loss of fine-grained details. Lastly, adapter-based approaches frequently require meticulous weight tuning for each reference image to achieve a balance between style intensity and text controllability. In this paper, we commence by examining several compelling yet frequently overlooked observations. We then proceed to introduce InstantStyle, a framework designed to address these issues through the implementation of two key strategies: 1) A straightforward mechanism that decouples style and content from reference images within the feature space, predicated on the assumption that features within the same space can be either added to or subtracted from one another. 2) The injection of reference image features exclusively into style-specific blocks, thereby preventing style leaks and eschewing the need for cumbersome weight tuning, which often characterizes more parameter-heavy designs.Our work demonstrates superior visual stylization outcomes, striking an optimal balance between the intensity of style and the controllability of textual elements. Our codes will be available at https://github.com/InstantStyle/InstantStyle.

研究动机与目标

• 解决无微调文本到图像生成中的风格退化和内容泄露问题。
• 克服基于反演的方法在潜在空间重建过程中丢失细微细节的局限性。
• 通过更有效地解耦风格与内容，消除基于适配器方法中手动调整权重的需求。
• 在无需成对数据集或复杂模块添加的情况下，实现一致的风格化。
• 实现鲁棒的风格迁移，同时保持文本控制力和高保真度的风格属性。

提出的方法

• 通过在特征空间中从图像嵌入中减去内容嵌入，实现风格与内容的解耦，从而减少内容泄露。
• 仅将参考图像特征注入特定于风格的注意力模块，防止不必要地注入内容信息。
• 利用注意力层的结构不变性，识别出最有效的风格注入模块。
• 使用 CLIP 作为图像特征提取器，获得高层表示而无需微调。
• 将该方法与现有的基于注意力的注入技术（包括 ControlNet）集成，以增强控制能力。
• 在初始调优后将注入强度固定为 1.0，从而无需对每张参考图像进行权重调整。

实验结果

研究问题

• RQ1 是否可以在不依赖成对数据集或额外模块的情况下，在特征空间中有效解耦风格与内容？
• RQ2 与全注意力注入相比，仅将特征注入特定于风格的模块是否能提升风格化保真度并减少内容泄露？
• RQ3 内容嵌入相减是否能消除基于适配器方法中手动调整权重的需求？
• RQ4 与现有无微调方法相比，该方法在视觉质量和风格一致性方面表现如何？
• RQ5 该框架在多样化风格（包括具有复杂空间构图的风格）上的泛化能力如何？

主要发现

• 内容嵌入相减显著减少了内容泄露，随着相减强度增加，视觉效果明显改善。
• 仅将特征注入风格模块的方案表现最佳，实现了最一致且视觉上最准确的风格化。
• 该方法在初始配置后无需任何手动权重调优，即可达到最先进水平的视觉效果。
• 该方法与 ControlNet 兼容，可在保持风格保真度和文本对齐的同时实现条件风格迁移。
• 该框架能有效保留细微细节（如纹理和颜色），避免了基于反演方法中常见的退化问题。
• 该方法在多样化风格上泛化良好，包括涉及空间布局的风格，尽管在特定情况下可能需要额外的布局注入。