[论文解读] Magicremover: Tuning-free Text-guided Image inpainting with Diffusion Models

Siyuan Yang, Lu Zhang+4 more|arXiv (Cornell University)|Oct 4, 2023

Generative Adversarial Networks and Image Synthesis被引用 4

一句话总结

MagicRemover 是一种无需微调、基于文本提示的图像修复方法，利用预训练扩散模型仅通过文本描述即可去除物体并恢复背景，无需手动掩码或模型微调。它采用基于注意力的引导和分类器优化，以增强去噪稳定性和去物保真度，在定量指标和用户测试中均达到最先进水平。

ABSTRACT

Image inpainting aims to fill in the missing pixels with visually coherent and semantically plausible content. Despite the great progress brought from deep generative models, this task still suffers from i. the difficulties in large-scale realistic data collection and costly model training; and ii. the intrinsic limitations in the traditionally user-defined binary masks on objects with unclear boundaries or transparent texture. In this paper, we propose MagicRemover, a tuning-free method that leverages the powerful diffusion models for text-guided image inpainting. We introduce an attention guidance strategy to constrain the sampling process of diffusion models, enabling the erasing of instructed areas and the restoration of occluded content. We further propose a classifier optimization algorithm to facilitate the denoising stability within less sampling steps. Extensive comparisons are conducted among our MagicRemover and state-of-the-art methods including quantitative evaluation and user study, demonstrating the significant improvement of MagicRemover on high-quality image inpainting. We will release our code at https://github.com/exisas/Magicremover.

研究动机与目标

• 解决基于掩码的图像修复方法的局限性，特别是针对具有模糊边界或透明度的物体，此时手动绘制掩码不切实际。
• 通过零样本方式利用预训练扩散模型，消除图像修复中昂贵的数据收集和模型微调需求。
• 通过自然语言指令而非二值掩码，实现灵活且用户友好的物体移除。
• 通过稳定扩散采样过程，提升修复区域的一致性和真实性。

提出的方法

• 该方法将输入图像和文本提示投影到预训练文本到图像扩散模型的潜在空间中，以计算交叉注意力和自注意力图。
• 提出一种基于注意力的引导策略，通过修改注意力图来抑制目标物体对应的特征，同时增强背景生成。
• 在去噪过程中应用分类器优化算法，以减少采样步数，同时提升物体去除的准确性和稳定性。
• 通过反向扩散过程重构输入图像的潜在表示，利用注意力机制实现对目标物体的精确定位。
• 该方法完全避免额外训练或微调，仅依赖预训练扩散模型的内部表征。
• 通过利用注意力图引导去噪过程，实现对目标区域的软性去除，并上下文一致地恢复背景。

实验结果

研究问题

• RQ1 能否在无需任何微调或辅助训练的情况下，利用预训练扩散模型实现零样本、基于文本提示的图像修复？
• RQ2 如何有效操控扩散模型中的注意力图，以引导物体去除和背景恢复？
• RQ3 分类器优化能否在减少采样步数的同时提升去噪稳定性并保持高质量的修复结果？
• RQ4 与传统基于掩码的方法相比，该方法在处理边界模糊或柔软的物体时表现如何？
• RQ5 注意力引导组件对修复输出的保真度和一致性有何影响？

主要发现

• 在 COCO 2017 验证集上，MagicRemover 的 Fréchet Inception Distance (FID) 低于 SD-Inpaint 和 LaMa，表明图像质量与分布相似性更优。
• 与 Inst-Inpaint 相比，MagicRemover 在 FID 指标上表现更优，避免了残留阴影问题，并提升了物体识别准确性。
• 30 名参与者的用户研究表明，MagicRemover 在偏好排名中获得多数投票，证实其在感知质量与真实感方面表现更优。
• 消融实验证实，自注意力引导可保持原始图像的相似性，而放松约束与重加权扰动则增强了背景的一致性。
• 分类器优化显著提升了物体去除性能，即使在低采样步数（如 50 步）下，也能减少残留物体信息并增强编辑能力。
• 该方法成功去除了半透明物体（如气泡和玻璃），这些物体因边界不清晰而对二值掩码方法构成挑战。