[论文解读] Image Inpainting Guided by Coherence Priors of Semantics and Textures

Liang Liao, Jing Xiao+3 more|arXiv (Cornell University)|Dec 15, 2020

Generative Adversarial Networks and Image Synthesis参考文献 43被引用 8

一句话总结

本文提出了一种联合图像修复与语义分割框架，通过利用语义与纹理之间的连贯性先验，提升复杂场景中孔洞填充的质量。通过引入语义感知注意力传播（SWAP）模块以及两种连贯性损失——全局结构损失与局部块级损失，实现了语义引导的高保真纹理生成，在边界清晰度与纹理合理性方面显著优于当前最先进方法，尤其在多类别孔洞的复杂场景中表现优异。

ABSTRACT

Existing inpainting methods have achieved promising performance in recovering defected images of specific scenes. However, filling holes involving multiple semantic categories remains challenging due to the obscure semantic boundaries and the mixture of different semantic textures. In this paper, we introduce coherence priors between the semantics and textures which make it possible to concentrate on completing separate textures in a semantic-wise manner. Specifically, we adopt a multi-scale joint optimization framework to first model the coherence priors and then accordingly interleavingly optimize image inpainting and semantic segmentation in a coarse-to-fine manner. A Semantic-Wise Attention Propagation (SWAP) module is devised to refine completed image textures across scales by exploring non-local semantic coherence, which effectively mitigates mix-up of textures. We also propose two coherence losses to constrain the consistency between the semantics and the inpainted image in terms of the overall structure and detailed textures. Experimental results demonstrate the superiority of our proposed method for challenging cases with complex holes.

研究动机与目标

• 解决在包含多个语义类别和混合纹理的复杂孔洞中进行图像修复的挑战。
• 通过建模语义与纹理之间的相互一致性，提升纹理的真实感与边界清晰度。
• 通过语义感知的非局部注意力机制引导修复过程，减少纹理混淆。
• 采用多尺度、自粗到精的优化策略，联合优化语义分割与图像修复任务。
• 设计损失函数，强制预测语义与修复图像之间在全局结构与局部块级上的连贯性。

提出的方法

• 提出一种多尺度联合优化框架，以自粗到精的方式交替优化图像修复与语义分割。
• 提出语义感知注意力传播（SWAP）模块，仅从相同预测语义类别的区域中选择纹理特征，从而减少无关纹理的填充。
• 设计图像级结构连贯性损失，强制修复图像与预测分割图之间保持结构对齐。
• 引入非局部块级连贯性损失，促使生成的纹理与同一语义类别已知块的分布相匹配。
• 使用共享特征表示，在多尺度上建模语义与纹理之间的交互关系。
• 采用共享编码器-解码器主干网络，并配合任务特定的输出头，实现修复与分割的联合优化。

Figure 1: Upper part: Mapping between image textures and edges/semantics (Dot arrow - extraction of edges/semantics; solid arrow - texture generation). Notice that two similar edge patches in a green circle could be mapped to completely different semantic textures, but one semantic will be clearly m

实验结果

研究问题

• RQ1 语义与纹理之间的连贯性先验是否能提升多语义区域混合孔洞中图像修复的质量？
• RQ2 与全局或非语义注意力相比，语义感知注意力传播是否能更有效地减少纹理混淆？
• RQ3 联合优化修复与分割是否能优于顺序或独立训练的策略？
• RQ4 所提出的全局与局部连贯性损失在保持结构与纹理一致性方面是否有效？
• RQ5 该模型能否在无语义标注的未见数据集（如Places2）上实现良好泛化？

主要发现

• 在Outdoor Scenes数据集上，所提方法达到PSNR 21.18、SSIM 0.81与FID 38.15，优于基线模型与消融实验变体。
• 仅使用SWAP模块即使PSNR提升3.75分，FID降低18.85分，证明其在减少纹理混淆方面的有效性。
• 同时引入SWAP与连贯性损失（Ours Full）时获得最大增益：相比仅使用SWAP的模型，PSNR提升1.6分，FID降低1.21分。
• 在Outdoor Scenes数据集上，模型达到mIoU 0.71，在Cityscapes上达到0.57，分割精度超过SPG-Net与SGE-Net。
• 在Places2数据集上，尽管无语义标注，模型仍能生成合理纹理与结构，得益于连贯性损失提供的强场景先验。
• 视觉对比显示，EdgeConnect因边缘模糊而生成错误纹理，而所提方法在语义一致性引导下生成更逼真的结果。

Figure 2: Proposed network architecture. At each scale, both the inpainted image and segmentation map are output from two task-specific heads to control the predicted structures of the shared features. SWAP is added between scales to progressively optimize the texture details of contextual feature.