[论文解读] Contextual-based Image Inpainting: Infer, Match, and Translate

Yuhang Song, Chao Yang+5 more|arXiv (Cornell University)|Nov 23, 2017

Generative Adversarial Networks and Image Synthesis参考文献 13被引用 9

一句话总结

本文提出一种两阶段深度学习框架，用于高分辨率图像修复，将任务解耦为粗略图像推理和细粒度纹理转换。通过使用补丁交换层，将图像边界处的高频细节传输到缺失区域，该方法在512×512分辨率下实现了比以往最先进方法更清晰、更逼真的结果，且仅需一次前向传播即可完成推理。

ABSTRACT

We study the task of image inpainting, which is to fill in the missing region of an incomplete image with plausible contents. To this end, we propose a learning-based approach to generate visually coherent completion given a high-resolution image with missing components. In order to overcome the difficulty to directly learn the distribution of high-dimensional image data, we divide the task into inference and translation as two separate steps and model each step with a deep neural network. We also use simple heuristics to guide the propagation of local textures from the boundary to the hole. We show that, by using such techniques, inpainting reduces to the problem of learning two image-feature translation functions in much smaller space and hence easier to train. We evaluate our method on several public datasets and show that we generate results of better visual quality than previous state-of-the-art methods.

研究动机与目标

• 解决在复杂缺失区域下生成高质量、逼真高分辨率图像（如512×512）修复结果的挑战。
• 通过将任务分解为两个可管理的阶段——图像到特征推理与特征到图像转换——克服直接学习高维像素分布的困难。
• 通过引入可学习、端到端可训练的高效框架，改进现有方法在模糊、伪影或高计算成本方面的问题。
• 在保持视觉连贯性与纹理真实感的同时，实现对任意形状与大小孔洞（包括大面积缺失区域）的泛化能力。

提出的方法

• 将图像修复分解为两个阶段：(1) Image2Feature 网络从不完整图像中生成粗略、结构合理的补全结果。
• 训练 Feature2Image 网络，将粗略特征图细化为高分辨率、照片级真实的图像，具备清晰的纹理。
• 引入一种新颖的“补丁交换”层，将孔洞内每个特征补丁替换为图像边界处最相似的补丁，从而注入高频纹理细节。
• 使用感知损失与对抗性训练，提升最终输出的视觉质量与真实感。
• 使用真实图像而非 Image2Feature 网络的预测结果来训练 Feature2Image 网络，以避免误差传播并提高稳定性。
• 通过多阶段、自监督的训练方案实现端到端训练，降低学习高维图像到图像映射的复杂度。

实验结果

研究问题

• RQ1 与端到端方法相比，两阶段深度学习框架是否能显著提升高分辨率图像修复的质量与真实感？
• RQ2 补丁交换层在无需迭代优化的情况下，是否能有效将图像边界处的高频纹理细节传输到孔洞区域？
• RQ3 在真实图像而非 Image2Feature 网络预测结果上训练 Feature2Image 网络，是否能带来更稳定、更准确的结果？
• RQ4 所提方法是否能泛化到任意形状与大小的孔洞（包括大面积缺失区域），同时保持视觉连贯性？
• RQ5 与 GL Inpainting 和 Neural Inpainting 等现有最先进方法相比，该方法在视觉质量与推理速度方面有多大的优势？

主要发现

• 与 GL Inpainting [1] 相比，所提方法在 512×512 图像上生成的修复结果更清晰、视觉连贯性更强，后者在该分辨率下难以有效处理。
• 补丁交换层显著提升了纹理细节的传输效果，使 Feature2Image 网络无需迭代优化即可生成逼真的纹理。
• 在真实图像上训练 Feature2Image 网络的效果明显优于使用 Image2Feature 网络预测结果的训练方式，后者导致输出噪声大且不稳定。
• 最终模型在 COCO 与 ImageNet 数据集上达到了最先进水平的视觉质量，修复结果与周围区域无缝融合。
• 推理速度快且高效，仅需一次前向传播，适用于真实世界应用，如物体移除与照片修复。
• 训练好的 Feature2Image 网络在修复任务之外也表现出良好的泛化能力，支持从内容图与风格图实时进行任意风格迁移，展现出强大的模型迁移能力。