[论文解读] Fast Spatio-Temporal Residual Network for Video Super-Resolution

Sheng Li, Fengxiang He+4 more|arXiv (Cornell University)|Apr 5, 2019

Advanced Image Processing Techniques参考文献 21被引用 5

一句话总结

本文提出了一种轻量级但深层的视频超分辨率模型——快速时空残差网络（FSTRN），通过在新型快速残差模块（FRB）中使用分解的3D卷积，显著降低了计算成本，同时保留了时空特征。通过引入跨空间残差学习（CRL）和低分辨率空间残差学习（LRL），FSTRN在基准数据集上的平均PSNR和SSIM分别较之前方法提升0.55 dB和0.2，达到当前最先进性能。

ABSTRACT

Recently, deep learning based video super-resolution (SR) methods have achieved promising performance. To simultaneously exploit the spatial and temporal information of videos, employing 3-dimensional (3D) convolutions is a natural approach. However, straight utilizing 3D convolutions may lead to an excessively high computational complexity which restricts the depth of video SR models and thus undermine the performance. In this paper, we present a novel fast spatio-temporal residual network (FSTRN) to adopt 3D convolutions for the video SR task in order to enhance the performance while maintaining a low computational load. Specifically, we propose a fast spatio-temporal residual block (FRB) that divide each 3D filter to the product of two 3D filters, which have considerably lower dimensions. Furthermore, we design a cross-space residual learning that directly links the low-resolution space and the high-resolution space, which can greatly relieve the computational burden on the feature fusion and up-scaling parts. Extensive evaluations and comparisons on benchmark datasets validate the strengths of the proposed approach and demonstrate that the proposed network significantly outperforms the current state-of-the-art methods.

研究动机与目标

• 为解决3D卷积神经网络在视频超分辨率中计算成本过高的问题，该问题限制了模型深度和性能。
• 通过联合建模空间与时间特征，保持时间一致性并减少闪烁伪影。
• 通过高效网络设计降低计算负担，同时不牺牲特征表示能力。
• 通过全局残差学习利用低分辨率与高分辨率视频帧之间的固有相似性。
• 在计算开销极小的前提下实现最先进性能。

提出的方法

• 提出一种快速时空残差模块（FRB），将每个3D卷积滤波器分解为两个低维3D滤波器，显著降低FLOPs。
• 引入跨空间残差学习（CRL），直接连接低分辨率输入空间与高分辨率输出空间，减轻特征融合与上采样层的负担。
• 采用低分辨率空间残差学习（LRL），通过在低分辨率空间中保留输入信息，增强特征提取能力。
• 结合FRB与全局残差学习（GRL），后者包含LRL与CRL，实现更深、更高效的网络，提升特征学习能力。
• 在CRL中使用双线性插值进行上采样，消融实验表明性能对插值类型不敏感。
• 理论分析给出了O(1/√n)的一般化界，表明模型具有强泛化能力，且不依赖于网络深度。

实验结果

研究问题

• RQ1 分解的3D卷积是否能有效降低视频超分辨率中的计算复杂度，同时保持或提升性能？
• RQ2 与标准残差连接相比，跨空间残差学习（CRL）是否显著降低了特征融合与上采样阶段的计算负载？
• RQ3 在全局残差学习（GRL）中，LRL与CRL的结合如何提升特征表示能力和模型精度？
• RQ4 所提出的FSTRN在PSNR、SSIM和视觉质量方面，相较于现有最先进方法的性能提升程度如何？
• RQ5 性能增益是源于架构创新，还是对CRL中上采样插值方式的选择敏感？

主要发现

• 在基准视频超分辨率数据集上，FSTRN在平均PSNR上相比最先进方法提升0.55 dB，SSIM提升0.2。
• 所提出的FRB显著降低了计算复杂度，使深层网络架构在不显著增加FLOPs的前提下成为可能。
• 消融研究证实，FRB、LRL与CRL均对性能有独立贡献，其中CRL在收敛速度和精度方面贡献最大。
• 当所有组件（FRB、CRL、LRL）同时使用时，网络收敛更快且性能更优，表明各模块之间存在协同效应。
• CRL中使用不同插值方法（双线性、最近邻、双三次、区域）的性能几乎相同，表明性能增益源于CRL设计本身，而非插值方式的选择。
• 视觉对比显示，FSTRN在纹理锐度和帧间过渡平滑性方面表现更优，尤其在网格和运动模式等复杂区域。