[论文解读] HD-Painter: High-Resolution and Prompt-Faithful Text-Guided Image Inpainting with Diffusion Models

Hayk Manukyan, Andranik Sargsyan+4 more|arXiv (Cornell University)|Dec 21, 2023

Generative Adversarial Networks and Image Synthesis被引用 4

一句话总结

HD-Painter 是一种无需训练的高分辨率文本引导图像修复方法，通过两项创新组件提升提示一致性：提示感知内向注意力（PAIntA），增强注意力与文本提示的一致性；重加权注意力分数引导（RASG），一种事后采样策略，防止分布偏移。其在 MSCOCO 上实现 61.4% 的生成准确率，显著优于先前的 SOTA 方法。

ABSTRACT

Recent progress in text-guided image inpainting, based on the unprecedented success of text-to-image diffusion models, has led to exceptionally realistic and visually plausible results. However, there is still significant potential for improvement in current text-to-image inpainting models, particularly in better aligning the inpainted area with user prompts and performing high-resolution inpainting. Therefore, we introduce HD-Painter, a training free approach that accurately follows prompts and coherently scales to high resolution image inpainting. To this end, we design the Prompt-Aware Introverted Attention (PAIntA) layer enhancing self-attention scores by prompt information resulting in better text aligned generations. To further improve the prompt coherence we introduce the Reweighting Attention Score Guidance (RASG) mechanism seamlessly integrating a post-hoc sampling strategy into the general form of DDIM to prevent out-of-distribution latent shifts. Moreover, HD-Painter allows extension to larger scales by introducing a specialized super-resolution technique customized for inpainting, enabling the completion of missing regions in images of up to 2K resolution. Our experiments demonstrate that HD-Painter surpasses existing state-of-the-art approaches quantitatively and qualitatively across multiple metrics and a user study. Code is publicly available at: https://github.com/Picsart-AI-Research/HD-Painter

研究动机与目标

• 解决文本引导图像修复中的提示忽略问题，特别是背景主导和邻近物体传播问题。
• 实现在不损失提示一致性或视觉质量的前提下，高达 2048×2048 的高分辨率修复。
• 开发一种无需训练、即插即用的解决方案，提升现有扩散模型的文本-图像对齐能力。
• 通过专为修复区域设计的超分辨率流程，提升生成一致性和用户感知质量。

提出的方法

• PAIntA 通过整合文本提示嵌入来增强自注意力分数，减少无关图像特征的影响，增强对提示相关内容的关注。
• RASG 通过在推理过程中重新加权注意力分数来修改 DDIM 采样过程，引导生成更贴近提示对齐的潜在表示，同时避免分布偏移。
• 该方法采用时间迭代混合策略，结合高分辨率扩散模型，以在高分辨率生成过程中保持一致性。
• 应用专为修复区域设计的超分辨率技术，实现无缝放大，同时保留已知区域的细节。
• PAIntA 和 RASG 均为即插即用设计，可无缝集成到任何预训练的扩散模型修复方法中，无需重新训练。
• 该方法利用 CLIP、MMDetection 和 PickScore 对提示一致性与视觉质量进行综合评估。

实验结果

研究问题

• RQ1 无训练方法能否在不微调的情况下显著提升文本引导图像修复中的提示一致性？
• RQ2 如何修改注意力机制，使文本提示在掩码图像区域中优先于视觉上下文？
• RQ3 能否设计一种事后引导策略，在增强提示对齐的同时避免扩散采样中的分布偏移？
• RQ4 专用超分辨率技术对高分辨率修复质量与一致性有何影响？
• RQ5 PAIntA 与 RASG 的组合在定量指标和用户感知方面与现有 SOTA 方法相比表现如何？

主要发现

• HD-Painter 在 MSCOCO 上实现 61.4% 的生成准确率，较之前 SOTA 的 51.9% 提升 9.5 个百分点。
• 与所有竞争方法相比，CLIP 分数提升超过 1.5 分，表明文本-图像对齐能力更强。
• PickScore 分析显示，HD-Painter 在整体质量与用户偏好方面均优于所有基线，且具有统计学显著优势。
• 用户研究证实，HD-Painter 在提示一致性与视觉质量方面均显著优于竞争对手。
• 定性结果表明，即使提示与视觉上下文矛盾，该方法仍能一致地生成目标物体，避免背景或物体主导问题。
• 专为修复设计的超分辨率技术实现了无缝的高分辨率完成效果，相比普通超分辨率在细节保留方面表现更优。