[论文解读] Image Inpainting using Multi-Scale Feature Image Translation.

Yuhang Song, Chao Yang+4 more|arXiv (Cornell University)|Nov 23, 2017

Generative Adversarial Networks and Image Synthesis被引用 18

一句话总结

本文提出了一种用于图像修复的多尺度特征图像转换方法，通过使用两个深度神经网络将任务解耦为初始化和纹理优化两个阶段。通过建模低维特征转换并利用边界引导的纹理迁移，该方法在视觉质量上达到最先进水平，且推理速度比以往方法快几个数量级。

ABSTRACT

We study the task of image inpainting, which is to fill in the missing region of an incomplete image with plausible contents. To this end, we propose a learning-based approach to generate visually coherent completion given a high-resolution image with missing components. In order to overcome the difficulty to directly learn the distribution of high-dimensional image data, we divide the task into initialization and texture-refinement as two separate steps and model each step with a deep neural network. We also use simple heuristics to guide transferring of textures from boundary to the hole. We show that, by using such techniques, inpainting reduces to the problem of learning two image-feature translation functions of much smaller dimensionality. We evaluate our method on several public datasets and show that we not only generate results of comparable or better visual quality, but are orders of magnitude faster than previous state-of-the-art methods.

研究动机与目标

• 为高分辨率图像中存在缺失区域的情况，解决生成视觉上连贯的图像补全的挑战。
• 通过将修复任务分解为两个低维任务，克服学习高维图像数据分布的困难。
• 在保持或超越最先进视觉质量的同时，提升推理速度。
• 开发一种方法，有效利用启发式引导将图像边界处的纹理传递到缺失区域。

提出的方法

• 该方法将图像修复分为两个阶段：初始补全和纹理优化，每个阶段由独立的深度神经网络建模。
• 使用多尺度特征表示以降低图像转换任务的维度。
• 通过简单启发式方法引导从图像边界到孔洞区域的纹理迁移，以保持结构和纹理的一致性。
• 将每个阶段视为独立的图像到特征转换问题，从而简化整体学习目标。
• 网络端到端训练，基于上下文和边界线索预测缺失区域的合理内容。

实验结果

研究问题

• RQ1 将图像修复分解为初始化和优化两个阶段，是否能同时提升速度和视觉质量？
• RQ2 多尺度特征转换在降低高维图像补全复杂性方面有多有效？
• RQ3 基于启发式边界的纹理迁移是否能增强生成区域的真实感？
• RQ4 该方法在推理速度和视觉保真度方面，相较于以往最先进方法的优越程度如何？

主要发现

• 所提方法在多个公开数据集上达到与最先进方法相当或更优的视觉质量。
• 显著降低推理时间，运行速度比以往最先进方法快几个数量级。
• 多尺度特征转换的使用使得在低维表示上有效学习成为可能，提升了训练稳定性。
• 边界引导的纹理迁移有助于实现更真实且上下文一致的孔洞填充。