[论文解读] Image Inpainting via Generative Multi-column Convolutional Neural Networks

Yi Wang, Xin Tao+3 more|arXiv (Cornell University)|Oct 20, 2018

Generative Adversarial Networks and Image Synthesis参考文献 25被引用 87

一句话总结

本文提出一种生成式多列卷积神经网络（GMCNN）用于图像修复，采用多路并行分支、ID-MRF正则化以及自信度驱动的重建损失，在无需后处理的情况下合成合理的全局结构与局部纹理。

ABSTRACT

In this paper, we propose a generative multi-column network for image inpainting. This network synthesizes different image components in a parallel manner within one stage. To better characterize global structures, we design a confidence-driven reconstruction loss while an implicit diversified MRF regularization is adopted to enhance local details. The multi-column network combined with the reconstruction and MRF loss propagates local and global information derived from context to the target inpainting regions. Extensive experiments on challenging street view, face, natural objects and scenes manifest that our method produces visual compelling results even without previously common post-processing.

研究动机与目标

• 通过同时捕捉全局结构和局部纹理来推动更高质量的修复。
• 提出一个多分支生成器以从全分辨率输入中提取多样化的组件。
• 引入ID-MRF正则化以实现纹理生成的多样化和约束。
• 设计一个自信度驱动的重建损失以强制执行空间自适应约束。
• 在街景、面部和自然图像上展示无需后处理的最新性能。

提出的方法

• 使用一个生成型多列CNN，包含三个并行的编码-解码分支，输入为全分辨率。
• 将分支输出连接后输入到共享解码器以生成修复后的图像。
• 在VGG特征层上计算的ID-MRF正则化用于在训练中促进纹理的多样性和真实感。
• 使用基于缺失区域距离和边界邻近度来加权像素的自信度驱动重建损失。
• 在训练中通过带梯度惩罚的Wasserstein GAN（全局和局部判别器）引入对抗损失。

实验结果

研究问题

• RQ1 具有不同感受野的多个并行编码器如何提升全局结构和局部纹理的修复效果？
• RQ2 在训练过程中使用隐式的多样化MRF正则化是否比后处理的MRF步骤更能产生更真实的纹理？
• RQ3 空间可变的重建损失是否在不同掩模和场景中提升边界一致性和纹理质量？
• RQ4 将ID-MRF、自信驱动损失与对抗训练结合对定量与感知修复质量的影响如何？

主要发现

• 具不同感受野的GMCNN在视觉保真度上优于单分支和自粗到细架构。
• 与不使用相比，ID-MRF正则化提升了局部纹理细节和纹理多样性。
• 自信驱动的重建损失在边界处理和渐进学习焦点方面优于基于空间折扣的替代方法。
• 定量结果在多个数据集上显示具有竞争力的PSNR和SSIM，用户研究偏好GMCNN输出胜过基线。
• 直观结果显示在街景、面孔和自然物体上的强大性能，无需后处理。