[论文解读] Deep Stacked Networks with Residual Polishing for Image Inpainting

Uğur Demir, Gözde Ünal|arXiv (Cornell University)|Dec 31, 2017

Advanced Image Processing Techniques参考文献 20被引用 6

一句话总结

本文提出了一种名为残差抛光（Residual Polishing）的两阶段深度学习框架用于图像修复，其中粗略修复网络（Coarse Painter Network, CPN）首先利用上下文特征填充缺失区域，随后精细修复网络（Fine Painter Network, FPN）学习残差修正以减少伪影和噪声。该方法在 Google Street View 数据集上实现了 22.89 dB 的 SOTA（state-of-the-art）PSNR，显著提升了视觉质量与定量指标。

ABSTRACT

Deep neural networks have shown promising results in image inpainting even if the missing area is relatively large. However, most of the existing inpainting networks introduce undesired artifacts and noise to the repaired regions. To solve this problem, we present a novel framework which consists of two stacked convolutional neural networks that inpaint the image and remove the artifacts, respectively. The first network considers the global structure of the damaged image and coarsely fills the blank area. Then the second network modifies the repaired image to cancel the noise introduced by the first network. The proposed framework splits the problem into two distinct partitions that can be optimized separately, therefore it can be applied to any inpainting algorithm by changing the first network. Second stage in our framework which aims at polishing the inpainted images can be treated as a denoising problem where a wide range of algorithms can be employed. Our results demonstrate that the proposed framework achieves significant improvement on both visual and quantitative evaluations.

研究动机与目标

• 为解决基于深度学习的图像修复中，特别是大范围缺失区域时产生的伪影与噪声问题。
• 通过将修复过程解耦为粗略重建与精细化阶段，提升视觉保真度与定量性能。
• 通过插入一个通用的残差抛光网络，使任何现有修复模型均可被增强，实现即插即用。
• 证明学习残差修正比端到端优化在减少局部形变与噪声方面更为有效。

提出的方法

• 该框架使用受上下文编码器（Context-Encoder）启发的粗略修复网络（CPN），通过 L1、L2 和感知（特征）损失进行训练，以生成初始修复结果。
• 精细修复网络（FPN）被训练以预测 CPN 输出与真实图像之间的残差差异，专注于修正局部伪影与噪声。
• FPN 实现为带有卷积块、批归一化和 ReLU 激活的残差网络，采用 Adam 优化器训练，且固定 CPN 的权重。
• 该方法将抛光阶段视为去噪问题，从而可灵活使用各种架构与损失函数。
• CPN 与 FPN 采用顺序训练：先训练 CPN，再在冻结 CPN 权重的前提下训练 FPN，实现独立优化。
• 该框架具有通用性，可通过仅替换第一阶段网络，应用于任何图像修复模型。

实验结果

研究问题

• RQ1 将图像修复过程分离为粗略重建与精细化阶段，是否能提升视觉与定量性能？
• RQ2 在初始修复结果与真实图像之间学习残差修正，是否比端到端训练更有效地抑制伪影？
• RQ3 在 CPN 中使用感知（特征）损失相较于仅使用像素级损失，对纹理合成质量有何影响？
• RQ4 轻量级、任务特定的抛光网络是否能有效减少初始修复网络引入的局部形变与噪声？
• RQ5 FPN 的架构设计（如残差块、批归一化）在多大程度上影响最终的修复质量？

主要发现

• 所提出的 Residual Polishing 框架在 Google Street View 数据集上实现了 22.89 dB 的 PSNR，优于 Context-Encoder（20.60 dB）与 Neural Patch Synthesis（20.72 dB）。
• 仅使用 CPN 即可达到 21.37 dB 的 PSNR，表明引入感知（特征）损失可显著提升纹理合成质量，优于仅使用像素级损失。
• FPN 将 L1 损失均值从 CPN 的 1.97 降低至 1.74，L2 损失均值从 0.38 降低至 0.32，表明重建精度显著提升。
• 图 5 的视觉对比显示，FPN 输出的纹理更平滑、更逼真，伪影更少，优于 CPN 与基线方法。
• 当 CPN 生成初始结果质量较差时，该方法仍具鲁棒性，但性能增益在 CPN 提供合理粗略重建时达到最大。
• 在 FPN 架构中使用批归一化与 ReLU 比仅使用 ReLU 或 LReLU 未归一化时收敛更好、性能更优。