[论文解读] From heavy rain removal to detail restoration: A faster and better network

Yuanbo Wen, Tao Gao+3 more|arXiv (Cornell University)|May 7, 2022

Image Enhancement Techniques参考文献 40被引用 9

一句话总结

该论文提出DPENet，一种用于单图去雨的双阶段渐进增强网络，首先利用空洞密集残差块（DDRB）去除雨痕，再通过增强型残差像素级注意力块（ERPAB）恢复细节。该方法在去雨质量与推理效率方面均达到当前最先进水平，在基准数据集上的推理速度比PReNet快38.9%，FLOPs降低36.1%。

ABSTRACT

The profound accumulation of precipitation during intense rainfall events can markedly degrade the quality of images, leading to the erosion of textural details. Despite the improvements observed in existing learning-based methods specialized for heavy rain removal, it is discerned that a significant proportion of these methods tend to overlook the precise reconstruction of the intricate details. In this work, we introduce a simple dual-stage progressive enhancement network, denoted as DPENet, aiming to achieve effective deraining while preserving the structural accuracy of rain-free images. This approach comprises two key modules, a rain streaks removal network (R$^2$Net) focusing on accurate rain removal, and a details reconstruction network (DRNet) designed to recover the textural details of rain-free images. Firstly, we introduce a dilated dense residual block (DDRB) within R$^2$Net, enabling the aggregation of high-level and low-level features. Secondly, an enhanced residual pixel-wise attention block (ERPAB) is integrated into DRNet to facilitate the incorporation of contextual information. To further enhance the fidelity of our approach, we employ a comprehensive loss function that accentuates both the marginal and regional accuracy of rain-free images. Extensive experiments conducted on publicly available benchmarks demonstrates the noteworthy efficiency and effectiveness of our proposed DPENet. The source code and pre-trained models are currently available at \url{https://github.com/chdwyb/DPENet}.

研究动机与目标

• 为解决在单幅图像中进行强降雨去除时持续存在的细纹理细节保持难题。
• 克服现有去雨网络优先关注雨痕去除而造成细节损失的局限性。
• 设计一种轻量化、高效的网络架构，在不牺牲计算速度的前提下实现高质量的去雨效果。
• 通过新型网络组件DDRB与ERPAB，提升特征表示能力与上下文聚合效果。
• 开发一种混合损失函数，以提升去雨图像的边缘与区域精度。

提出的方法

• 网络采用双阶段设计：首先，通过使用空洞卷积率可调的空洞密集残差块（DDRB）的雨痕去除网络（R²Net），提取具有大感受野的多层次特征。
• DDRB通过整合不同空洞率的空洞卷积与密集跳跃连接，增强特征传播与上下文建模能力。
• 其次，通过细节重建网络（DRNet）使用增强型残差像素级注意力块（ERPAB）恢复高频纹理细节。
• ERPAB结合并行空洞融合块（PDFB）以捕获多感受野上下文信息，以及像素级注意力块（PAB）以优化空间相关性。
• 采用混合损失函数，结合L1损失、感知损失与对抗损失，以提升图像的局部与全局保真度。
• 模型在合成数据集与真实世界数据集上进行端到端训练，推理过程经过优化，实现低FLOPs与高速度。

实验结果

研究问题

• RQ1 双阶段网络架构能否同时提升雨痕去除与细纹理恢复效果？
• RQ2 在DDRB中集成空洞卷积与密集残差连接是否能增强强降雨去除任务中的特征表示能力？
• RQ3 所提出的增强型像素级注意力机制（ERPAB）能否有效恢复去雨图像中的高频纹理？
• RQ4 所提出的混合损失函数是否相比标准损失函数能带来更好的感知质量与结构准确性？
• RQ5 该网络能否在保持低计算成本与快速推理速度的同时，实现当前最先进性能？

主要发现

• 在真实世界Rain1000数据集上，DPENet取得最低的NIQE分数18.42与SSEQ分数16.29，优于所有对比方法。
• 在Rain100H基准测试中，DPENet实现30.12 dB的PSNR与0.901的SSIM，展现出卓越的重建质量。
• 与PReNet相比，模型平均推理时间减少38.9%，FLOPs降低36.1%，实现了最佳的效率-精度平衡。
• 视觉对比显示，DPENet能有效去除雨痕与雾化效应，同时保留精细纹理，而其他方法常残留伪影。
• 消融实验表明，DDRB与ERPAB均对性能有显著贡献，且混合损失函数有效提升了结构与感知保真度。
• 尽管效率优异，DPENet在雨滴或极端天气等极端情况下的泛化能力仍有限，提示未来需进一步提升鲁棒性。