[论文解读] Foreground-aware Image Inpainting

Wei Xiong, Jiahui Yu+5 more|arXiv (Cornell University)|Jan 17, 2019

Generative Adversarial Networks and Image Synthesis参考文献 22被引用 23

一句话总结

本文提出了一种前景感知的图像修复方法，通过将轮廓预测与图像补全解耦，利用学习到的前景轮廓作为引导，显著提升了在复杂场景中孔洞与前景物体重叠或接触时的修复质量。通过在内容生成之前显式建模物体边界，该方法在具有挑战性的现实场景中实现了最先进（SOTA）的性能，无论是在定量指标还是用户偏好研究中，均优于以往基于学习的方法。

ABSTRACT

Existing image inpainting methods typically fill holes by borrowing information from surrounding pixels. They often produce unsatisfactory results when the holes overlap with or touch foreground objects due to lack of information about the actual extent of foreground and background regions within the holes. These scenarios, however, are very important in practice, especially for applications such as the removal of distracting objects. To address the problem, we propose a foreground-aware image inpainting system that explicitly disentangles structure inference and content completion. Specifically, our model learns to predict the foreground contour first, and then inpaints the missing region using the predicted contour as guidance. We show that by such disentanglement, the contour completion model predicts reasonable contours of objects, and further substantially improves the performance of image inpainting. Experiments show that our method significantly outperforms existing methods and achieves superior inpainting results on challenging cases with complex compositions.

研究动机与目标

• 解决现有基于深度学习的图像修复方法在处理与前景物体重叠或接触的孔洞时失效的问题。
• 通过显式建模前景结构而非依赖隐式学习，提升复杂构图下的图像修复质量。
• 开发一种解耦框架，先预测并补全物体轮廓，再生成图像内容。
• 证明轮廓引导可带来更自然且无伪影的修复结果，尤其在物体边界区域表现更优。
• 验证课程训练在联合优化轮廓补全与图像补全模块方面的有效性。

提出的方法

• 该方法首先使用轮廓检测模块在含孔洞的输入图像中检测前景轮廓。
• 轮廓补全模块可预测被孔洞遮挡的前景物体边界的缺失部分，即使物体边缘被完全遮挡也能有效恢复。
• 将补全后的轮廓作为空间引导，用于条件化图像补全网络，从而在孔洞区域内生成逼真的内容。
• 系统采用课程训练策略，联合优化轮廓补全与图像补全模块，以提升泛化能力。
• 模型在自定义的显著性图像数据集上进行训练，该数据集专为包含多样化孔洞形状和相对于前景物体位置的样本而设计。
• 该框架将结构推理（轮廓预测）与内容生成解耦，从而实现更准确且语义感知更强的图像修复。

实验结果

研究问题

• RQ1 显式建模前景物体轮廓是否能提升在孔洞与前景物体重叠或接触场景下的图像修复性能？
• RQ2 与无此类监督的端到端学习相比，使用预测轮廓作为空间引导是否能带来更自然且无伪影的图像补全结果？
• RQ3 轮廓预测与图像补全的解耦对复杂构图下生成图像质量有何影响？
• RQ4 与基线 GAN 基础的图像修复模型相比，轮廓引导在多大程度上减少了物体边界区域的视觉伪影？
• RQ5 课程训练是否能有效提升轮廓补全与图像补全模块的联合学习效果？

主要发现

• 在显著性数据集上，所提方法的 PSNR 达到 29.86，SSIM 达到 0.9383，优于所有基线方法，包括 PartialConv 和 GatedConv。
• 在用户偏好研究中，完整模型在 1,099 次投票中获得 731 次首选，显著优于 PartialConv（100 次）和 GatedConv（100 次）。
• 消融实验表明，若移除轮廓引导，物体边界区域将出现明显伪影，证实轮廓引导对高质量结果至关重要。
• 轮廓补全模块即使在大尺寸或不规则孔洞中，也能成功预测合理的物体边界，从而提升图像补全的准确性。
• 无轮廓引导的模型仍表现良好（PSNR 29.35），但加入轮廓引导后，PSNR 提升 0.51，SSIM 提升 0.0027，表明性能持续提升。
• 视觉对比显示，与现有方法相比，所提方法生成的物体形状更自然，伪影更少，尤其在物体边缘区域表现更优。