[论文解读] Semantically Consistent Image Completion with Fine-grained Details

Pengpeng Liu, Xiaojuan Qi+4 more|arXiv (Cornell University)|Nov 26, 2017

Generative Adversarial Networks and Image Synthesis参考文献 27被引用 11

一句话总结

本文提出一种轻量级、全卷积生成器，结合多层级监督——重建损失、感知损失和对抗损失——实现语义一致且具有细粒度细节的图像修复。通过在相似性增强的特征空间中引入感知引导并结合对抗训练，该方法在CelebA和Paris StreetView数据集上实现了最先进性能，参数量少于1000万，显著优于先前方法在细节保真度和边界一致性方面的表现。

ABSTRACT

Image completion has achieved significant progress due to advances in generative adversarial networks (GANs). Albeit natural-looking, the synthesized contents still lack details, especially for scenes with complex structures or images with large holes. This is because there exists a gap between low-level reconstruction loss and high-level adversarial loss. To address this issue, we introduce a perceptual network to provide mid-level guidance, which measures the semantical similarity between the synthesized and original contents in a similarity-enhanced space. We conduct a detailed analysis on the effects of different losses and different levels of perceptual features in image completion, showing that there exist complementarity between adversarial training and perceptual features. By combining them together, our model can achieve nearly seamless fusion results in an end-to-end manner. Moreover, we design an effective lightweight generator architecture, which can achieve effective image inpainting with far less parameters. Evaluated on CelebA Face and Paris StreetView dataset, our proposed method significantly outperforms existing methods.

研究动机与目标

• 为解决图像修复中低层次像素重建损失与高层次对抗损失之间的差距，该差距限制了细粒度细节的生成。
• 引入基于预训练卷积神经网络的中层感知监督，以增强语义一致性和细节生成能力。
• 设计一种轻量级、全卷积生成器架构，以极低参数量（<1000万）实现高性能。
• 证明对抗训练与感知特征在生成自然、细节丰富且语义一致的图像修复结果中的互补性。
• 在随机掩码位置和尺寸下实现鲁棒的图像修复，无需图像对齐或后处理。

提出的方法

• 该方法采用多损失训练策略，结合像素级重建损失（$L_r$）、对抗损失（$L_a$）和感知损失（$L_p$），实现多层级监督。
• 一个预训练的感知网络将图像转换到特征空间，使语义相似但外观不同的内容更加接近，从而实现中层语义引导。
• 感知损失计算为原始图像与修复图像在感知网络多个层级的特征图之间的$L_2$距离。
• 设计了一种新颖的轻量级全卷积生成器（基于FCN），可高效捕捉长距离上下文并以较少参数生成高分辨率输出。
• 判别器负责强制实现全局自然性和边界连续性，而生成器则通过所有三种损失端到端联合训练。
• 该框架端到端训练，推理仅需生成器，支持实时应用。

实验结果

研究问题

• RQ1 重建损失、对抗损失和感知损失在图像修复中的相互作用如何？它们对细节和一致性贡献的相对重要性是什么？
• RQ2 在相似性增强的特征空间中引入感知监督，是否能提升细粒度细节生成能力，同时避免引入伪影？
• RQ3 对抗训练与感知特征在生成语义一致且逼真的图像修复结果方面，其互补性在多大程度上体现？
• RQ4 轻量级全卷积生成器能否在显著减少参数量的前提下，实现与大模型相当的性能？
• RQ5 该方法在复杂场景（如人脸和城市街道）下，对随机掩码位置和尺寸的鲁棒性如何？

主要发现

• 对抗损失与感知损失的结合可生成具有细粒度细节和边界连续性的结果，优于仅使用$L_r$、$L_a$或$L_p$的模型。
• 在Paris StreetView数据集上，所提方法在使用$L_r + L_a + L_p$时达到21.5338 dB的PSNR，优于Context Encoder（20.4878 dB），且在随机掩码设置下性能下降极小。
• 该方法在CelebA和Paris StreetView上即使在随机掩码位置和尺寸下仍保持强劲性能，而像Context Encoder等模型则需固定掩码。
• 参数量少于1000万的轻量级生成器实现了最先进性能，证明高性能无需依赖庞大模型规模。
• 定性结果表明，该方法能成功移除人物、标志和胡须等物体，同时保持语义一致性并生成合理、新颖的内容。
• 失败案例出现在训练数据缺乏相关样本时（如侧脸、对称结构），表明其泛化能力受限于训练分布。