[论文解读] A^2Net: Adjacent Aggregation Networks for Image Raindrop Removal

Huangxing Lin, Xueyang Fu+3 more|arXiv (Cornell University)|Nov 24, 2018

Image Enhancement Techniques参考文献 26被引用 6

一句话总结

该论文提出A²Net，一种用于单张图像去雨滴的轻量化深度学习模型，通过邻近特征聚合与YUV色彩空间转换，聚焦亮度分量以提升效率与性能。通过利用色彩空间分解与新颖的聚合机制简化学习任务，A²Net仅用0.4M参数即实现最先进性能，显著减小模型尺寸的同时保持高质量图像重建。

ABSTRACT

Existing methods for single images raindrop removal either have poor robustness or suffer from parameter burdens. In this paper, we propose a new Adjacent Aggregation Network (A^2Net) with lightweight architectures to remove raindrops from single images. Instead of directly cascading convolutional layers, we design an adjacent aggregation architecture to better fuse features for rich representations generation, which can lead to high quality images reconstruction. To further simplify the learning process, we utilize a problem-specific knowledge to force the network focus on the luminance channel in the YUV color space instead of all RGB channels. By combining adjacent aggregating operation with color space transformation, the proposed A^2Net can achieve state-of-the-art performances on raindrop removal with significant parameters reduction.

研究动机与目标

• 为解决雨滴比雨痕更几何复杂且降低图像质量的单张图像去雨滴挑战。
• 开发一种轻量化网络，在不过度增加参数量的前提下保持高性能，以实现在资源受限设备上的部署。
• 通过利用关于雨滴光学特性及其对亮度影响的物理洞察，简化图像到图像映射问题。
• 通过引入邻近聚合机制，提升特征在不同层间的融合，增强空间与语义表征能力。

提出的方法

• 提出一种邻近聚合操作，通过融合相邻层的特征来增强表征学习，而无需增加模型深度或参数量。
• 将输入图像转换为YUV色彩空间，并训练网络主要关注亮度（Y）分量，利用雨滴主要影响亮度的特性。
• 采用编码器-解码器架构，共享Y与UV分量的编码器，随后对Y与UV分别使用独立解码器以重建干净图像。
• 采用混合损失函数，结合均方误差（MSE）与结构相似性（SSIM），以同时保留全局结构与精细细节。
• 应用全局残差学习以稳定训练过程，并改善网络中特征的传播。
• 设计浅层高效网络架构，确保快速推理，尤其适用于CPU与移动设备。

实验结果

研究问题

• RQ1 邻近特征聚合是否能在不增加模型复杂度的前提下提升去雨滴网络中的特征表征能力？
• RQ2 在YUV空间中聚焦亮度分量是否能简化学习任务并提升去雨滴性能？
• RQ3 参数少于100万的轻量化网络是否能在去雨滴基准测试中实现最先进性能？
• RQ4 与标准RGB学习相比，色彩空间转换与邻近聚合的结合在视觉质量与参数效率方面有何影响？

主要发现

• A²Net在Rain100L基准测试中达到最先进性能，测试B集的PSNR为30.79，SSIM为0.927，优于先前方法。
• 与AttentiveGAN相比，参数量减少93%（0.4M对比6.24M），使其在边缘设备部署中极具优势。
• 邻近聚合机制提升了特征融合，相比标准残差网络，能更好地保留图像细节。
• YUV色彩空间转换显著提升性能，A²Net YUV（聚焦Y分量）的表现优于A²Net RGB（在RGB上训练）与generalNet。
• MSE与SSIM损失的结合产生最佳视觉效果，平衡了结构保真度与细节锐度。
• A²Net在CPU上的图像处理速度比先前深度模型快达10倍，计算开销极低，适用于实时应用。