[论文解读] Attentive Generative Adversarial Network for Raindrop Removal from a Single Image

Rui Qian, Robby T. Tan+3 more|arXiv (Cornell University)|Nov 28, 2017

Image Enhancement Techniques参考文献 23被引用 53

一句话总结

该论文提出了一个 Attentive GAN，它学习一个注意力图来聚焦在水滴区域及其周围区域，从单幅图像中去除水滴，并在性能上优于先前方法。

ABSTRACT

Raindrops adhered to a glass window or camera lens can severely hamper the visibility of a background scene and degrade an image considerably. In this paper, we address the problem by visually removing raindrops, and thus transforming a raindrop degraded image into a clean one. The problem is intractable, since first the regions occluded by raindrops are not given. Second, the information about the background scene of the occluded regions is completely lost for most part. To resolve the problem, we apply an attentive generative network using adversarial training. Our main idea is to inject visual attention into both the generative and discriminative networks. During the training, our visual attention learns about raindrop regions and their surroundings. Hence, by injecting this information, the generative network will pay more attention to the raindrop regions and the surrounding structures, and the discriminative network will be able to assess the local consistency of the restored regions. This injection of visual attention to both generative and discriminative networks is the main contribution of this paper. Our experiments show the effectiveness of our approach, which outperforms the state of the art methods quantitatively and qualitatively.

研究动机与目标

• 在没有给出水滴区域及其背景的单幅水滴降解图像上，激发水滴去除的研究。
• 引入一个注入视觉注意力到生成器和判别器中的 attentive GAN。
• 开发一个 attentive-recurrent 网络以学习水滴注意力，以及一个上下文自编码器来还原背景。
• 使用多尺度和感知损失来提高恢复质量。
• 将该方法与现有最先进方法进行比较评估，并展示定量和定性上的改进。

提出的方法

• 构建一个带有两部分生成器的 GAN 框架：一个产生引导修复的注意力图的 attentive-recurrent 网络，和一个输出无水滴图像的上下文自编码器。
• 使用包含 ResNet-5 块和卷积LSTM的循环块来训练注意力模块，以生成从0到1的注意力图。
• 在带跳跃连接的上下文自编码器中，将输入图像与最终注意力图融合，并使用多尺度损失函数。
• 在解码器层应用多尺度损失以捕获不同尺度的上下文信息，以及使用预训练网络的感知损失。
• 结合由注意力图引导的 attentive 判别器，通过基于图的损失来强化修复中的局部一致性。
• 利用水滴形成模型 I = (1-M)⊙B + R 来生成训练数据，并使用注意力驱动的损失 L_ATT 来监督注意力图。

实验结果

研究问题

• RQ1 在测试阶段不提供显式水滴掩码的情况下，注意力 GAN 能否从单幅降质图像中学习定位水滴区域及其周围结构？
• RQ2 将学习到的注意力图同时注入生成器和判别器是否比非注意变体提升水滴去除的质量？
• RQ3 多尺度和感知损失是否提高无水滴重建的保真度？
• RQ4 在标准指标上，所提方法与现有的单图像水滴去除方法相比如何？

主要发现

• 提出的 AA+AD 架构在 PSNR 和 SSIM 上优于 Eigen13、Pix2Pix，以及消融变体。
• AA+AD 的 PSNR 为 31.57，SSIM 为 0.9023，优于所有列出的基线。
• 消融研究表明若生成器或判别器中任一处没有注意力，架构表现更差，验证了引入注意力引导的必要性。
• 该方法在定性上去除了大部分水滴并相比竞争方法更好地保留结构细节。
• 定量增益得到定性示例的补充，并在应用于视觉 API 时获得更高的对象识别分数。