[论文解读] Guidance and Evaluation: Semantic-Aware Image Inpainting for Mixed Scenes

Liang Liao, Jing Xiao+3 more|arXiv (Cornell University)|Mar 15, 2020

Generative Adversarial Networks and Image Synthesis参考文献 47被引用 10

一句话总结

本文提出 SGE-Net，一种语义感知的图像修复框架，通过语义分割与图像修复在粗到细、多尺度上的迭代交互，逐步优化结构先验和图像内容。通过利用分割置信度分数来引导和评估修复过程，该方法在具有清晰边界和逼真纹理的混合场景中取得了优越性能，在真实世界数据集上的表现优于当前最先进方法。

ABSTRACT

Completing a corrupted image with correct structures and reasonable textures for a mixed scene remains an elusive challenge. Since the missing hole in a mixed scene of a corrupted image often contains various semantic information, conventional two-stage approaches utilizing structural information often lead to the problem of unreliable structural prediction and ambiguous image texture generation. In this paper, we propose a Semantic Guidance and Evaluation Network (SGE-Net) to iteratively update the structural priors and the inpainted image in an interplay framework of semantics extraction and image inpainting. It utilizes semantic segmentation map as guidance in each scale of inpainting, under which location-dependent inferences are re-evaluated, and, accordingly, poorly-inferred regions are refined in subsequent scales. Extensive experiments on real-world images of mixed scenes demonstrated the superiority of our proposed method over state-of-the-art approaches, in terms of clear boundaries and photo-realistic textures.

研究动机与目标

• 为解决在具有多个语义区域的混合场景中，图像修复任务中可靠语义结构与纹理生成的挑战。
• 克服两阶段方法依赖于受损输入中不可靠结构或语义预测的局限性。
• 通过语义引导和置信度评估，实现对分割图与修复图像的迭代优化，从而提升图像修复质量。
• 验证分割置信度分数可作为评估修复区域保真度的可靠度量标准。
• 证明分割与修复的联合优化优于传统的先修复后分割的流水线方法。

提出的方法

• SGE-Net 采用粗到细、多尺度的框架，使图像修复与语义分割在四个尺度上迭代优化。
• 在每个尺度上，模型利用当前的分割图作为空间感知引导，提升修复质量，并进行位置相关的推理再评估。
• 从分割头计算出的分割置信度分数用于识别并优化后续尺度中预测不佳的区域。
• 模型采用渐进式优化机制，将不确定性从粗尺度传播至细尺度，提升结构与纹理的可靠性。
• 该框架联合优化图像生成与语义分割，避免了传统串行流水线中常见的误差传播问题。
• 采用逐像素的置信度分数生成不可靠像素图，用于引导迭代优化，并作为修复质量的代理指标。

实验结果

研究问题

• RQ1 在混合场景中，语义分割与图像修复之间的迭代联合优化能否提升结构与纹理生成的可靠性？
• RQ2 分割置信度分数能否有效识别并引导修复过程中预测不佳区域的优化？
• RQ3 分割与修复的联合优化是否优于先分割后修复的串行方法？
• RQ4 SGE-Net 的性能在多大程度上依赖于训练阶段初始语义标注的质量？
• RQ5 置信度分数与实际修复保真度（以 L1 损失与真实值的对比衡量）的相关性如何？

主要发现

• SGE-Net 在混合场景图像修复任务中达到最先进性能，生成的图像边界更清晰，纹理更逼真，优于现有方法。
• 通过将语义分割作为动态、多尺度的引导，该方法有效减少了语义边界处的伪影和纹理模糊。
• 分割置信度分数与真实值的 L1 损失表现出强相关性，证实其作为修复内容保真度度量的实用性。
• 即使在使用自动生成的分割图（如 DPN 和 Deeplab v3+ 生成）进行训练时，SGE-Net 仍保持强大性能，仅在 Outdoor Scenes 数据集上 PSNR 略有下降（20.19 vs. 20.53）。
• SGE-Net 在语义分割准确率上优于先修复后分割的基线方法，生成的物体边界更清晰，语义分配更一致。
• 迭代优化机制显著提升了预测不佳区域的修复质量，视觉对比与置信度图均证实了这一点。