[论文解读] High-Resolution Image Inpainting using Multi-Scale Neural Patch Synthesis

Chao Yang, Xin Lu+4 more|arXiv (Cornell University)|Nov 30, 2016

Generative Adversarial Networks and Image Synthesis参考文献 36被引用 28

一句话总结

本文提出了一种用于高分辨率图像修复的多尺度神经块合成方法，通过利用深层特征相关性，联合优化全局内容与局部纹理约束。该方法借助预训练的分类网络匹配中间层块响应，并通过从粗到细的尺度迭代优化结果，实现了优于以往方法的最先进性能，尤其在512×512图像上表现出更清晰、更连贯的细节。

ABSTRACT

Recent advances in deep learning have shown exciting promise in filling large holes in natural images with semantically plausible and context aware details, impacting fundamental image manipulation tasks such as object removal. While these learning-based methods are significantly more effective in capturing high-level features than prior techniques, they can only handle very low-resolution inputs due to memory limitations and difficulty in training. Even for slightly larger images, the inpainted regions would appear blurry and unpleasant boundaries become visible. We propose a multi-scale neural patch synthesis approach based on joint optimization of image content and texture constraints, which not only preserves contextual structures but also produces high-frequency details by matching and adapting patches with the most similar mid-layer feature correlations of a deep classification network. We evaluate our method on the ImageNet and Paris Streetview datasets and achieved state-of-the-art inpainting accuracy. We show our approach produces sharper and more coherent results than prior methods, especially for high-resolution images.

研究动机与目标

• 解决现有基于深度学习的修复方法因内存和训练约束而在高分辨率图像上失效的局限性。
• 在修复区域中提升高频纹理细节的合成质量，同时保持全局结构的一致性。
• 克服仅依赖对抗性损失或L2损失进行内容预测时常见的模糊与伪影问题。
• 实现对大尺寸、任意形状孔洞的高效修复，超越固定矩形掩码的限制。
• 开发一种可扩展的多尺度优化框架，确保在不同分辨率层级上的保真度。

提出的方法

• 该方法采用联合优化框架，结合训练好的编码器-解码器网络提供的全局内容约束，以及来自预训练分类网络中间层特征相关性的局部纹理约束。
• 通过深度网络中间层的3×3局部响应计算神经块相似性，以指导纹理合成。
• 构建多尺度金字塔，每级通过两倍下采样实现，从128×128起始，孔洞大小为64×64，支持从粗到细的渐进优化。
• 在每一级尺度上，孔洞初始值由内容网络输出提供，随后使用有限内存BFGS联合优化，以最小化内容损失与纹理损失。
• 每一级优化后的结果经上采样后，用作下一级更高分辨率优化的初始化，从而保持结构一致性。
• 对于任意形状的孔洞，该方法使用包围矩形，用像素均值填充，再应用相同的优化流程。

实验结果

研究问题

• RQ1 联合优化内容与纹理约束是否能超越仅使用端到端网络的性能，实现更优的高分辨率图像修复？
• RQ2 利用预训练网络的中间层特征相关性来引导局部块合成，在生成高频细节方面是否有效？
• RQ3 多尺度、从粗到细的优化策略是否能缓解单尺度深度学习方法中常见的模糊与结构伪影问题？
• RQ4 该方法是否能泛化至任意形状孔洞，而无需特殊架构修改？
• RQ5 在内容网络中引入对抗性损失，是否能提升初始化质量并改善最终修复结果？

主要发现

• 所提方法在ImageNet与Paris Streetview数据集上均达到最先进的修复精度，优于以往方法，在结构一致性和纹理细节方面表现更优。
• 与Context Encoder和PatchMatch方法相比，结果在512×512图像上表现出显著更清晰的纹理与更少的可见边界伪影。
• 在内容网络中引入对抗性损失可获得更锐利的初始化结果，直接提升最终修复质量并减少模糊现象。
• 多尺度优化框架能够有效处理高分辨率图像中的大孔洞（如256×256），而以往基于学习的方法难以扩展至此类规模。
• 该方法能够生成新纹理，而非直接传播已有块，从而在复杂场景中实现更真实的合成效果。
• 尽管性能优异，该方法仍无法实现实时处理，单张图像在Titan X GPU上耗时约1分钟，主要因迭代优化过程较慢。