[论文解读] Context-Aware Semantic Inpainting

Haofeng Li, Guanbin Li+2 more|arXiv (Cornell University)|Dec 21, 2017

Generative Adversarial Networks and Image Synthesis参考文献 32被引用 6

一句话总结

本文提出上下文感知语义修复（CASI），一种基于全卷积生成对抗网络的方法，通过使用感知特征的上下文感知损失，保留空间结构并提升语义一致性。在定性和定量评估中，CASI 在边缘保持、纹理真实感和语义准确性方面均优于当前最先进方法，且通过新型指标（如局部熵误差和语义误差）得到验证。

ABSTRACT

Recently image inpainting has witnessed rapid progress due to generative adversarial networks (GAN) that are able to synthesize realistic contents. However, most existing GAN-based methods for semantic inpainting apply an auto-encoder architecture with a fully connected layer, which cannot accurately maintain spatial information. In addition, the discriminator in existing GANs struggle to understand high-level semantics within the image context and yield semantically consistent content. Existing evaluation criteria are biased towards blurry results and cannot well characterize edge preservation and visual authenticity in the inpainting results. In this paper, we propose an improved generative adversarial network to overcome the aforementioned limitations. Our proposed GAN-based framework consists of a fully convolutional design for the generator which helps to better preserve spatial structures and a joint loss function with a revised perceptual loss to capture high-level semantics in the context. Furthermore, we also introduce two novel measures to better assess the quality of image inpainting results. Experimental results demonstrate that our method outperforms the state of the art under a wide range of criteria.

研究动机与目标

• 解决现有基于 GAN 的语义修复方法中使用全连接瓶颈层的局限性，这些方法会扭曲空间信息，难以保持结构与语义一致性。
• 通过将图像上下文引入损失函数，提升判别器对高层语义的评估能力，确保生成内容与周围上下文更好地对齐。
• 开发新型定量指标——局部熵误差与语义误差，以更准确评估锐度与语义有效性，超越传统 L2 与 PSNR 指标。
• 通过结合全卷积生成器与包含感知损失的联合损失函数，实现图像修复的最先进性能。

提出的方法

• 生成器采用全卷积架构，不含全连接层，保留空间结构并支持可变输入尺寸处理。
• 通过将生成区域与周围上下文组合，并利用预训练网络的高层特征在合成图像上计算感知损失，引入上下文感知损失。
• 联合损失函数包含感知损失项，用于度量合成图像与真实图像在深层特征空间中的相似性，增强语义一致性。
• 局部熵误差定义为合成区域 9×9 邻域内局部熵的 MSE 或 MAE，以更准确惩罚模糊结果。
• 语义误差（SME）计算为真实图像与生成图像在预训练图像分类器输出置信度分数之间的铰链损失，用于衡量语义正确性。
• 模型通过对抗损失、L2 损失与感知损失的组合进行训练，其中超参数 λper 用于平衡感知与重建保真度。

实验结果

研究问题

• RQ1 与使用全连接瓶颈层的自编码器模型相比，全卷积生成器架构是否能更好地保留语义修复中的空间结构？
• RQ2 将完整图像上下文引入判别器输入，是否能提升生成区域的结构与语义一致性？
• RQ3 在合成图像（生成区域 + 上下文）上计算的感知损失，是否比仅在生成区域上计算的标准感知损失更能捕捉高层语义？
• RQ4 局部熵误差是否能比 L2 或 PSNR 更准确地检测过度平滑的模糊修复结果？
• RQ5 基于预训练分类器对真实类别置信度的语义误差，是否能有效衡量修复内容的语义有效性？

主要发现

• CASI 在所有方法中取得最高的 SSIM、FSIM 与 FSIMc 分数，表明其在修复结果的结构与视觉质量方面表现最优。
• CASI 的 LEMSE 与 LEMAE 在所有方法中最低，证实其相比基线方法能生成更清晰、更少模糊的结果。
• 在使用 ResNet 与 VGG 分类器评估时，CASI 的语义误差（SME）最小，表明其具备恢复语义正确内容的能力。
• 当 λper = 0.4 时，CASI 在局部熵误差上达到最佳平衡；而当 λper = 0.7 时，其在语义误差与相似性指标上表现最佳，表明锐度与语义之间存在权衡。
• 所提出的局部熵误差与语义误差指标能有效检测过度平滑与语义不一致问题，且与视觉质量具有良好的相关性。
• 在各类修复场景下，CASI 在所有评估标准（包括传统指标与新提出指标）上均优于当前最先进方法。