[论文解读] Leveraging Off-the-shelf Diffusion Model for Multi-attribute Fashion Image Manipulation

Chaerin Kong, DongHyeon Jeon+2 more|arXiv (Cornell University)|Oct 12, 2022

Generative Adversarial Networks and Image Synthesis被引用 5

一句话总结

本文提出了一种通用的、无需掩码的时尚属性编辑框架，该框架利用预训练的扩散模型，并通过微调的多属性分类器结合注意力池化进行引导。通过使用基于分类器引导的扩散模型并结合空间注意力图实现区域感知编辑，该方法在无需为每组属性单独训练模型的情况下，实现了高质量、多属性的时尚属性操作，涵盖物品类别、面料和领型等多样化属性。

ABSTRACT

Fashion attribute editing is a task that aims to convert the semantic attributes of a given fashion image while preserving the irrelevant regions. Previous works typically employ conditional GANs where the generator explicitly learns the target attributes and directly execute the conversion. These approaches, however, are neither scalable nor generic as they operate only with few limited attributes and a separate generator is required for each dataset or attribute set. Inspired by the recent advancement of diffusion models, we explore the classifier-guided diffusion that leverages the off-the-shelf diffusion model pretrained on general visual semantics such as Imagenet. In order to achieve a generic editing pipeline, we pose this as multi-attribute image manipulation task, where the attribute ranges from item category, fabric, pattern to collar and neckline. We empirically show that conventional methods fail in our challenging setting, and study efficient adaptation scheme that involves recently introduced attention-pooling technique to obtain a multi-attribute classifier guidance. Based on this, we present a mask-free fashion attribute editing framework that leverages the classifier logits and the cross-attention map for manipulation. We empirically demonstrate that our framework achieves convincing sample quality and attribute alignments.

研究动机与目标

• 解决现有基于GAN的时尚属性编辑方法在可扩展性和通用性方面的局限性，这些方法需要为每组属性分别训练模型。
• 通过利用在通用数据集（如ImageNet）上预训练的扩散模型，克服时尚图像生成中的数据稀缺性和领域偏移挑战。
• 在统一框架中实现对多个复杂时尚属性（如物品类型、面料、领型样式）的同时编辑。
• 通过利用多属性分类器生成的注意力图来引导空间编辑，从而消除对手动分割掩码的需求。
• 提出一种高效的微调策略，结合注意力池化，用于多属性分类器，以在有限标注数据下处理多样化属性。

提出的方法

• 使用预训练的现成扩散模型（如Imagen）进行图像生成，避免从零开始训练。
• 训练一个基于视觉Transformer（ViT）主干网络并结合微调注意力池化层的多属性分类器，以从有限数据中分类多样化时尚属性。
• 应用分类器引导的扩散模型，其中分类器logits的梯度用于引导扩散模型的去噪过程。
• 利用分类器最后一层的注意力图，隐式识别需要编辑的空间区域，替代显式的分割掩码。
• 引入背景保留损失，以在操作过程中保持无关图像区域的完整性，确保在无掩码监督下仍保持高保真度。
• 优化引导尺度（λ）以平衡属性对齐与样本质量，在λ=100时达到最佳性能。

实验结果

研究问题

• RQ1 未经微调生成组件的情况下，能否有效适配预训练的现成扩散模型用于时尚属性编辑？
• RQ2 单个结合注意力池化的多属性分类器在引导多样化时尚属性的复杂多属性编辑方面效果如何？
• RQ3 分类器生成的注意力图能否替代人工分割掩码，实现局部化、高保真度的图像操作？
• RQ4 分类器准确率与引导尺度对生成编辑的质量与对齐程度有何影响？
• RQ5 与以往基于GAN的方法相比，该框架在同时编辑大量属性时是否仍能保持性能与稳定性？

主要发现

• 所提出的框架仅使用一个现成的扩散模型和一个微调的多属性分类器，即可实现高质量、多样化的时尚属性编辑，包括物品类别、面料等复杂属性。
• 结合注意力池化的分类器引导扩散模型实现了无需掩码的编辑，其中空间注意力图隐式识别需修改的区域，无需用户提供掩码。
• 该框架成功实现了多属性编辑，且属性组合自然和谐，生成结果合理且视觉一致。
• 消融实验表明，背景保留损失对保持高保真度至关重要，若缺失则生成样本虽条件对齐但不真实。
• 最优引导尺度（λ=100）在属性对齐与图像质量之间实现平衡，过低或过高的λ值均会导致保真度下降或对齐错误。
• 该方法在可扩展性方面优于基于GAN的基线模型，因为GAN在训练大量属性时易发生训练崩溃，而基于扩散模型的方法保持稳定。