[论文解读] Enhanced Spatio-Temporal Interaction Learning for Video Deraining: A Faster and Better Framework

Kaihao Zhang, Dongxu Li+3 more|arXiv (Cornell University)|Mar 23, 2021

Image Enhancement Techniques被引用 14

一句话总结

该论文提出ESTINet，一种新颖的端到端视频去雨框架，通过三模块架构（空间信息采集模块SICM、具有新型Interaction-CBLSTM的时空交互模块STIM，以及增强型时空模块ESTM）增强时空特征学习。该方法在三个公开数据集上实现了去雨质量与推理速度的最先进性能，PSNR、SSIM和运行时间均优于先前方法。

ABSTRACT

Video deraining is an important task in computer vision as the unwanted rain hampers the visibility of videos and deteriorates the robustness of most outdoor vision systems. Despite the significant success which has been achieved for video deraining recently, two major challenges remain: 1) how to exploit the vast information among continuous frames to extract powerful spatio-temporal features across both the spatial and temporal domains, and 2) how to restore high-quality derained videos with a high-speed approach. In this paper, we present a new end-to-end video deraining framework, named Enhanced Spatio-Temporal Interaction Network (ESTINet), which considerably boosts current state-of-the-art video deraining quality and speed. The ESTINet takes the advantage of deep residual networks and convolutional long short-term memory, which can capture the spatial features and temporal correlations among continuing frames at the cost of very little computational source. Extensive experiments on three public datasets show that the proposed ESTINet can achieve faster speed than the competitors, while maintaining better performance than the state-of-the-art methods.

研究动机与目标

• 解决高效利用视频帧间时空相关性的挑战，以实现鲁棒的视频去雨。
• 克服现有视频去雨模型中高质量去雨与计算效率之间的权衡。
• 开发一种轻量级、端到端的框架，联合优化空间与时间特征学习，以提升雨痕去除效果。
• 与现有方法相比，在定量指标（PSNR、SSIM）和推理速度方面均实现最先进性能。

提出的方法

• 采用基于ResNet的SICM，从堆叠的输入雨天帧中提取高层空间特征。
• 在STIM中引入Interaction-CBLSTM架构，将前一帧的特征连接至输入，并用卷积操作替代tanh激活函数，以实现尺度自适应。
• 在ESTM中采用3D DenseNet类架构，通过增强时空一致性并保留真实内容，对粗略去雨输出进行精细化处理。
• 通过联合损失函数实现端到端训练，反向传播从STIM输出开始，更新SICM和STIM组件。
• 利用残差学习与双向长短期记忆机制，高效建模长程时间依赖性。
• 通过最小化STIM中的计算开销，并使用轻量级、参数高效的模块，实现速度优化。

实验结果

研究问题

• RQ1 轻量级时空交互模块能否有效建模连续视频帧之间的时序相关性，以实现视频去雨？
• RQ2 与孤立的空间或时间建模相比，空间与时间特征学习的融合在多大程度上提升了去雨性能？
• RQ3 新型Interaction-CBLSTM架构在计算成本极低的前提下，能否显著优于标准ConvLSTM或CBLSTM以捕捉时序动态？
• RQ4 基于3D DenseNet的精炼模块（ESTM）是否能显著提升粗略去雨输出在结构与感知保真度方面的质量？
• RQ5 所提出的框架能否在性能与推理速度上均超越现有最先进方法？

主要发现

• ESTINet在NTURain数据集上实现37.48 dB的PSNR与0.9700的SSIM，优于所有对比的最先进方法。
• 消融实验表明，将输入帧数从1增加到5可使PSNR提升超过2 dB，证明了时序建模的价值。
• Interaction-CBLSTM模块（STIM）性能优于ConvLSTM与B-ConvLSTM变体，PSNR最高提升达0.72 dB。
• 完整模型（SICM + STIM (#5) + ESTM）相比SICM + STIM (#5) + 2DCNN实现0.2 dB的性能提升，证明了ESTM中3D卷积的有效性。
• ESTINet显著快于竞争方法，包括FastDeRain，在标准桌面GPU（GTX 1080 Ti）上实现更快的推理速度。
• 在NTURain真实雨天视频上的定性结果表明，该方法能有效去除雨痕，同时保留精细细节与纹理。