[论文解读] 3DSRnet: Video Super-resolution using 3D Convolutional Neural Networks

Soo Ye Kim, Jeongyeon Lim+2 more|arXiv (Cornell University)|Dec 21, 2018

Advanced Image Processing Techniques参考文献 25被引用 43

一句话总结

提出一个基于3D-CNN的视频超分辨率框架（3DSRnet），保持时间深度，使用带子像素输出的残差学习，并包含一个场景变化处理模块，在不进行运动对齐的情况下避免性能下降。它在Vidset4上实现了最先进的PSNR提升。

ABSTRACT

In video super-resolution, the spatio-temporal coherence between, and among the frames must be exploited appropriately for accurate prediction of the high resolution frames. Although 2D convolutional neural networks (CNNs) are powerful in modelling images, 3D-CNNs are more suitable for spatio-temporal feature extraction as they can preserve temporal information. To this end, we propose an effective 3D-CNN for video super-resolution, called the 3DSRnet that does not require motion alignment as preprocessing. Our 3DSRnet maintains the temporal depth of spatio-temporal feature maps to maximally capture the temporally nonlinear characteristics between low and high resolution frames, and adopts residual learning in conjunction with the sub-pixel outputs. It outperforms the most state-of-the-art method with average 0.45 and 0.36 dB higher in PSNR for scales 3 and 4, respectively, in the Vidset4 benchmark. Our 3DSRnet first deals with the performance drop due to scene change, which is important in practice but has not been previously considered.

研究动机与目标

• 在视频 SR 中利用时空一致性而不进行运动对齐。
• 开发一个端到端的 3D-CNN，保持跨层的时间信息。
• 通过一个专门的场景变化子网处理输入帧中的场景变化。
• 通过残差学习和子像素输出结构提升 SR 性能。
• 在与现有方法相比的 Vidset4 上展示最先进的 PSNR 增益。

提出的方法

• 使用一个五帧输入窗口的 3D-CNN 视频 SR 子网来生成一个高分辨率中间帧。
• 通过对 GTFMs 的外插（填充）在各层保持时域深度，以保留时域信息。
• 采用多通道输出，在网络输入路径中实现直接 LR→HR 映射，而无需双三次插值。
• 通过预测 HR 与双三次上采样的 LR 帧之间的残差来进行残差学习。
• 结合一个轻量级的场景变化检测与帧替换（SF）子网，以定位场景边界并用同场景中时间上最接近的帧替换来自其他场景的帧。
• 为视频 SR 子网训练独立的数据集（smallSet 和 largeSet），以及为 SF 子网训练，使用均方误差损失和 Adam 优化进行优化。

实验结果

研究问题

• RQ1 一个不需要显式运动对齐的 3D-CNN 是否能有效利用时空信息进行视频 SR？
• RQ2 在 3D 特征图中保持时域深度是否比传统的 2D-CNN 视频 SR 方法提升 SR 性能？
• RQ3 专门的场景变化检测与帧替换组件在有场景切换的视频中对 SR 质量有何影响？
• RQ4 在 Vidset4 上，3DSRnet 与当前前沿的图像与视频 SR 方法在 PSNR 和 SSIM 方面相比如何？

主要发现

• 3DSRnet 在 Vidset4 上的 PSNR 相比最先进的方法在尺度 3 上平均提升 0.45 dB，在尺度 4 上平均提升 0.36 dB。
• 模型通过多层 3D 卷积保持时域深度，并使用外插来在最终的 2D HR 输出前保留时域信息。
• SF 子网在场景变化检测上达到高精度（约 99.9%）并在受场景变化影响的帧上提升 PSNR 大约 0.25–0.46 dB。
• 在 Vidset4 上，3DSRnet 在尺度因子 2、3、4 上相对于同期方法实现 PSNR 增益，结果见 表 5。
• 对于五帧输入，将 960x540 帧的上采样时间推理为 166 ms（尺度 2）和 788 ms（尺度 4）（在 NVIDIA TITAN X 上）。
• 网络受益于多通道输出和残差学习，提升感知质量并避免对 3D 卷积的过度计算。