[论文解读] Learning Pyramid-Context Encoder Network for High-Quality Image Inpainting

Yanhong Zeng, Fu Jianlong+2 more|arXiv (Cornell University)|Apr 16, 2019

Generative Adversarial Networks and Image Synthesis被引用 7

一句话总结

该论文提出PEN-Net，一种基于U-Net的新型架构，用于高质量图像修复，通过结合跨层注意力传递与金字塔填充机制，提升语义一致性和视觉真实感。通过逐步将深层特征的注意力引导特征传递至浅层，并结合多尺度监督与对抗性训练，PEN-Net在多个基准测试中达到最先进性能，无论在定量指标还是用户评测中均优于先前方法。

ABSTRACT

High-quality image inpainting requires filling missing regions in a damaged image with plausible content. Existing works either fill the regions by copying image patches or generating semantically-coherent patches from region context, while neglect the fact that both visual and semantic plausibility are highly-demanded. In this paper, we propose a Pyramid-context ENcoder Network (PEN-Net) for image inpainting by deep generative models. The PEN-Net is built upon a U-Net structure, which can restore an image by encoding contextual semantics from full resolution input, and decoding the learned semantic features back into images. Specifically, we propose a pyramid-context encoder, which progressively learns region affinity by attention from a high-level semantic feature map and transfers the learned attention to the previous low-level feature map. As the missing content can be filled by attention transfer from deep to shallow in a pyramid fashion, both visual and semantic coherence for image inpainting can be ensured. We further propose a multi-scale decoder with deeply-supervised pyramid losses and an adversarial loss. Such a design not only results in fast convergence in training, but more realistic results in testing. Extensive experiments on various datasets show the superior performance of the proposed network

研究动机与目标

• 为解决生成兼具视觉真实感与语义一致性的高质量图像修复结果的挑战。
• 克服现有方法的局限性，这些方法或复制图像块（缺乏语义），或从紧凑特征生成（损失细节）。
• 通过分层、注意力引导的特征传递，提升基于U-Net的修复性能，增强特征编码与解码能力。
• 通过金字塔填充机制在多尺度上填充缺失区域，实现细粒度细节恢复。
• 通过深度监督的多尺度损失与对抗性训练，实现更快收敛与更真实的结果。

提出的方法

• 该模型使用U-Net主干网络，从低层次像素到高层次语义逐步编码图像上下文，并将特征解码回完整图像。
• 金字塔上下文编码器采用注意力传递网络（ATN）学习高层特征中的区域亲和性，并通过加权复制将相关特征传递至低层特征图。
• ATN实现跨层注意力传递，使深层语义特征引导浅层高分辨率层的特征重建。
• 多尺度解码器处理跳跃连接与潜在码中的特征，通过在多个尺度上应用金字塔L1损失，逐步优化预测结果。
• 采用判别器进行对抗性训练，以提升生成图像的真实感。
• 通过结合深度监督的金字塔L1损失与对抗性损失进行网络优化，实现更快收敛与更好泛化能力。

实验结果

研究问题

• RQ1 通过利用高层语义信息指导低层细节恢复，跨层注意力传递是否能提升图像修复中的特征重建质量？
• RQ2 逐层从深层到浅层迭代优化特征的金字塔填充机制，是否能提升生成图像区域的质量？
• RQ3 多尺度监督与对抗性训练是否能协同提升图像修复的收敛速度与真实感？
• RQ4 与基于图像块与潜在特征的方法相比，所提方法在语义一致性与视觉合理性之间平衡表现如何？
• RQ5 在多样化的图像修复场景中，该模型在多大程度上能保留细粒度纹理与结构细节？

主要发现

• 在用户评测中，PEN-Net在82.10%的成对比较中被评为更自然，显著优于PatchMatch（40.15%）与PConv（23.70%）。
• 在DTD数据集上，82.23%的PEN-Net修复结果（使用32×32掩码）被人类评估者判定为真实图像，表明其具有极强的视觉真实感。
• 使用128×128掩码时，仍有32.70%的PEN-Net结果被判断为真实，证明其在大孔洞修复任务中的鲁棒性。
• 消融实验表明，ATN与金字塔填充机制联合使用可使FID从26.38（仅ATN）降至15.19，表明生成质量显著提升。
• 带有金字塔L1损失的多尺度解码器实现了渐进式优化，如不同尺度上的解码过程可视化所示。
• 注意力传递机制成功在缺失区域填充了语义一致的补丁，而原始U-Net或CA方法在浅层无法重建合理内容。