[论文解读] Image Inpainting with Edge-guided Learnable Bidirectional Attention Maps

Dongsheng Wang, Chaohao Xie+3 more|arXiv (Cornell University)|Apr 25, 2021

Generative Adversarial Networks and Image Synthesis参考文献 54被引用 5

一句话总结

该论文提出Edge-LBAM，一种新颖的图像修复框架，通过使用由预测边缘引导的可学习双向注意力图，提升不规则孔洞修复中的结构一致性并减少模糊性。通过将硬性0-1掩码替换为端到端可训练的注意力图，并整合边缘感知的掩码更新机制，Edge-LBAM在基准数据集上的定量指标和视觉质量方面均达到最先进性能。

ABSTRACT

For image inpainting, the convolutional neural networks (CNN) in previous methods often adopt standard convolutional operator, which treats valid pixels and holes indistinguishably. As a result, they are limited in handling irregular holes and tend to produce color-discrepant and blurry inpainting result. Partial convolution (PConv) copes with this issue by conducting masked convolution and feature re-normalization conditioned only on valid pixels, but the mask-updating is handcrafted and independent with image structural information. In this paper, we present an edge-guided learnable bidirectional attention map (Edge-LBAM) for improving image inpainting of irregular holes with several distinct merits. Instead of using a hard 0-1 mask, a learnable attention map module is introduced for learning feature re-normalization and mask-updating in an end-to-end manner. Learnable reverse attention maps are further proposed in the decoder for emphasizing on filling in unknown pixels instead of reconstructing all pixels. Motivated by that the filling-in order is crucial to inpainting results and largely depends on image structures in exemplar-based methods, we further suggest a multi-scale edge completion network to predict coherent edges. Our Edge-LBAM method contains dual procedures,including structure-aware mask-updating guided by predict edges and attention maps generated by masks for feature re-normalization.Extensive experiments show that our Edge-LBAM is effective in generating coherent image structures and preventing color discrepancy and blurriness, and performs favorably against the state-of-the-art methods in terms of qualitative metrics and visual quality.

研究动机与目标

• 为解决标准卷积和部分卷积在处理不规则孔洞时存在的局限性，这些局限性常导致颜色不一致和模糊结果。
• 通过将固定的0-1掩码替换为端到端训练的可学习注意力图，改进掩码更新和特征重归一化。
• 通过利用预测边缘使填充过程具备结构感知能力，从而提升修复性能。
• 开发双向注意力机制——前向和反向注意力图，以改善特征传播和重建效果。
• 通过整合多尺度边缘预测与基于注意力的特征精炼，实现更一致且逼真的图像补全。

提出的方法

• 引入可学习前向注意力图（LFAM），用软性、可训练的注意力图替代部分卷积中的硬性0-1掩码，实现动态特征重归一化和掩码更新。
• 在解码器中提出可学习反向注意力图（LRAM），在重建过程中突出缺失区域，提升训练稳定性和生成质量。
• 采用多尺度边缘补全网络（MCENet）从输入中预测一致的边缘，用于在编码器中引导结构感知的掩码更新。
• 引入Edge-LFAM和Edge-LRAM，利用预测的边缘图约束掩码更新和注意力分布，确保填充过程遵循结构轮廓。
• 采用双路径架构结合编码器-解码器设计，其中注意力图端到端学习，并与边缘监督结合，以提升特征学习效果。
• 在注意力模块中应用自适应激活函数 $g_A(\cdot)$ 和 $g_M(\cdot)$，其在消融实验中优于标准Sigmoid和ReLU。

实验结果

研究问题

• RQ1 可学习的注意力图能否替代部分卷积中的硬性0-1掩码，以改善不规则孔洞修复中的特征重归一化和掩码更新？
• RQ2 边缘引导的掩码更新如何影响生成图像结构的一致性以及模糊性的减少？
• RQ3 双向注意力机制（前向与反向）是否能改善图像修复中的特征传播与重建？
• RQ4 将多尺度边缘预测与注意力图结合，是否能带来更具结构感知性和真实感的修复结果？
• RQ5 注意力模块中不同激活函数对最终修复性能有何影响？

主要发现

• Edge-LBAM在Paris StreetView和Places2数据集上达到最先进性能，PSNR和SSIM指标均优于PConv、DeepFillv2和EdgeConnect等方法。
• 消融实验表明，所提出的 $g_A(\cdot)$ 和 $g_M(\cdot)$ 激活函数在特征重归一化和掩码更新方面显著优于Sigmoid、ReLU及其组合。
• 可视化结果显示，Edge-LBAM的掩码更新具有结构感知性：孔洞沿预测边缘方向收缩，从而实现一致的结构补全。
• 反向注意力图（LRAM）能有效引导解码器聚焦于填充未知区域，其在孔洞区域的注意力值高于已知区域。
• 通过学习适应空间上下文和结构线索的注意力图，Edge-LBAM有效减少了颜色不一致和模糊性。
• 该方法在多种不规则孔洞形状和复杂纹理下表现出鲁棒性，经定性比较和定量指标验证。