[论文解读] Learning to Incorporate Structure Knowledge for Image Inpainting

Jie Yang, Zhiquan Qi+1 more|arXiv (Cornell University)|Feb 11, 2020

Generative Adversarial Networks and Image Synthesis参考文献 34被引用 4

一句话总结

该论文提出了一种多任务学习框架，联合训练生成器以重建受损图像及其结构成分（边缘和梯度），显式嵌入学习到的结构特征，并使用注意力机制优化结果。该方法在CelebA和Places2数据集上实现了最先进性能，FID分数分别为1.227和4.883，通过有效利用结构知识，展现出卓越的定性和定量结果。

ABSTRACT

This paper develops a multi-task learning framework that attempts to incorporate the image structure knowledge to assist image inpainting, which is not well explored in previous works. The primary idea is to train a shared generator to simultaneously complete the corrupted image and corresponding structures --- edge and gradient, thus implicitly encouraging the generator to exploit relevant structure knowledge while inpainting. In the meantime, we also introduce a structure embedding scheme to explicitly embed the learned structure features into the inpainting process, thus to provide possible preconditions for image completion. Specifically, a novel pyramid structure loss is proposed to supervise structure learning and embedding. Moreover, an attention mechanism is developed to further exploit the recurrent structures and patterns in the image to refine the generated structures and contents. Through multi-task learning, structure embedding besides with attention, our framework takes advantage of the structure knowledge and outperforms several state-of-the-art methods on benchmark datasets quantitatively and qualitatively.

研究动机与目标

• 为解决现有基于深度学习的图像修复方法在有效整合高层结构知识（如边缘和梯度）方面的局限性。
• 通过在图像重建和结构预测上联合训练共享生成器，提升图像修复质量，实现隐式结构知识的利用。
• 将学习到的结构特征显式嵌入修复过程作为先决条件，以指导内容生成。
• 通过新型注意力机制挖掘重复性结构模式，优化生成的结构与内容。
• 设计一种金字塔结构损失，以有效监督结构学习与嵌入，提升结构保真度。

提出的方法

• 在多任务设置下训练一个共享生成器，从受损输入中同时预测完整图像及对应的边缘图与梯度图。
• 提出一种新型金字塔结构损失，以多尺度监督结构学习，增强结构一致性和细节表现。
• 通过将学习到的结构特征拼接或注入生成器解码路径，实现结构嵌入，作为显式先验。
• 应用注意力机制识别并优化图像中的重复性结构模式，提升生成内容的一致性与真实感。
• 框架整合多任务学习、显式结构嵌入与注意力机制，联合优化结构准确性与视觉合理性。
• 采用对抗损失与感知损失进行端到端训练，确保输出具有高质量与真实感。

实验结果

研究问题

• RQ1 在图像重建与结构预测上联合训练是否能提升图像修复结果的质量与合理性？
• RQ2 显式结构嵌入对生成图像内容的性能与真实感有何影响？
• RQ3 利用重复性模式的注意力机制在多大程度上提升了结构一致性和视觉质量？
• RQ4 所提出的金字塔结构损失是否相比标准L1或L2损失提供了更优的结构监督？
• RQ5 与先生成结构再生成图像的两阶段方法相比，所提出的框架在泛化性与鲁棒性方面表现如何？

主要发现

• 在CelebA数据集上使用不规则掩码时，该方法取得1.227的FID分数，显著优于次优基线方法EG的2.443。
• 在Places2数据集上使用不规则掩码时，该方法FID为4.883，相较EG基线的13.74有显著提升，表明图像质量明显改善。
• 消融实验表明，逐步引入多任务学习、结构嵌入与注意力机制后，FID从基线的15.25降至11.98，VIF与PSNR也同步提升。
• 定性结果表明，面部轮廓更清晰，纹理更真实，尤其在大面积缺失区域表现更优。
• 金字塔结构损失有效捕捉多尺度结构细节，有助于提升边缘与梯度预测的准确性与一致性。
• 该模型在不规则掩码上泛化能力出色，优于未专门针对此类掩码训练的方法（如CA与GL）。