[论文解读] EdgeConnect: Generative Image Inpainting with Adversarial Edge Learning

Kamyar Nazeri, Eric Ng+3 more|arXiv (Cornell University)|Jan 1, 2019

Generative Adversarial Networks and Image Synthesis参考文献 53被引用 583

一句话总结

EdgeConnect 使用两阶段 GAN 架构，首先在缺失区域幻象边缘，然后基于这些边完成图像，在 CelebA、Places2 和 Paris StreetView 上实现最先进的修复技术。

ABSTRACT

Over the last few years, deep learning techniques have yielded significant improvements in image inpainting. However, many of these techniques fail to reconstruct reasonable structures as they are commonly over-smoothed and/or blurry. This paper develops a new approach for image inpainting that does a better job of reproducing filled regions exhibiting fine details. We propose a two-stage adversarial model EdgeConnect that comprises of an edge generator followed by an image completion network. The edge generator hallucinates edges of the missing region (both regular and irregular) of the image, and the image completion network fills in the missing regions using hallucinated edges as a priori. We evaluate our model end-to-end over the publicly available datasets CelebA, Places2, and Paris StreetView, and show that it outperforms current state-of-the-art techniques quantitatively and qualitatively. Code and models available at: https://github.com/knazeri/edge-connect

研究动机与目标

• 通过边缘引导的重建来保持细微结构，以改进修复。
• 通过两阶段网络将高频边缘恢复与低频颜色/纹理分离。
• 展示端到端训练并在标准基准上评估性能。
• 提供定性与定量评估，显示优于现有方法。

提出的方法

• 具有边缘生成器 G1 和图像完成网络 G2 的两阶段对抗模型。
• G1 使用带遮蔽的灰度输入和边缘先验来幻象缺失区域的边缘，使用对抗损失和特征匹配损失进行训练。
• Canny 边缘图被用作边缘生成的训练标签，对训练进行光谱归一化以稳定训练。
• G2 通过以地真实背景边缘与 G1 生成的边缘组合成的复合边缘图来进行条件完成，优化目标包含 L1、对抗、感知与风格损失。
• 判别器采用 PatchGAN（70x70）并结合实例归一化；最终 refinement 采用端到端微调，不使用 D1。
• 边缘信息被证明能提升修复质量；Canny 检测器的 σ 参数控制边缘数量并影响结果。

实验结果

研究问题

• RQ1 将图像修复条件化于幻象边缘是否能更好地保留细结构并减少模糊？
• RQ2 通过 Canny σ 的边缘信息量和质量如何影响在不同数据集上的修复性能？
• RQ3 一个端到端的边缘引导修复模型是否能在标准基准上超越现有最先进方法？
• RQ4 不同边缘表示（Canny 与 HED）对结果有何影响？
• RQ5 提出的 EdgeConnect 在不规则掩模、大缺失区域上的表现如何？

主要发现

• EdgeConnect 在 Places2 上相对于 CA、GLCIC 和 PConv，取得更优秀的定量结果（L1 更低、SSIM/PSNR 更高、FID 更低），并展示定性改进。
• 在修复过程中使用边缘信息比无边缘基线能更好地保持结构、减少模糊。
• 单一的 σ ≈ 2 能在边缘细节与覆盖范围之间取得最佳平衡，用于边缘生成及后续修复。
• 消融研究表明包含边缘信息（G2 带边缘）在 CelebA 与 Places2 数据集上指标稳定提升。
• 该方法能处理不规则掩模和多对象场景，并可通过操作边缘图用于交互式编辑（对象移除）。