[论文解读] Deep Video Super-Resolution using HR Optical Flow Estimation

Longguang Wang, Yulan Guo+4 more|arXiv (Cornell University)|Jan 6, 2020

Advanced Image Processing Techniques参考文献 55被引用 10

一句话总结

本文提出 SOF-VSR，一种用于视频超分的端到端深度学习框架，通过联合超分光学流和图像实现。通过使用级联细化网络（OFRnet）从低分辨率（LR）帧估计高分辨率（HR）光学流，该方法实现了更精确的运动补偿与时间建模，从而在 Vid4 和 DAVIS-10 数据集上取得最先进性能，显著提升了细节恢复与时间一致性。

ABSTRACT

Video super-resolution (SR) aims at generating a sequence of high-resolution (HR) frames with plausible and temporally consistent details from their low-resolution (LR) counterparts. The key challenge for video SR lies in the effective exploitation of temporal dependency between consecutive frames. Existing deep learning based methods commonly estimate optical flows between LR frames to provide temporal dependency. However, the resolution conflict between LR optical flows and HR outputs hinders the recovery of fine details. In this paper, we propose an end-to-end video SR network to super-resolve both optical flows and images. Optical flow SR from LR frames provides accurate temporal dependency and ultimately improves video SR performance. Specifically, we first propose an optical flow reconstruction network (OFRnet) to infer HR optical flows in a coarse-to-fine manner. Then, motion compensation is performed using HR optical flows to encode temporal dependency. Finally, compensated LR inputs are fed to a super-resolution network (SRnet) to generate SR results. Extensive experiments have been conducted to demonstrate the effectiveness of HR optical flows for SR performance improvement. Comparative results on the Vid4 and DAVIS-10 datasets show that our network achieves the state-of-the-art performance.

研究动机与目标

• 为解决现有视频超分方法中低分辨率光学流带来的局限性，该局限性阻碍了精确的时间建模与精细细节恢复。
• 通过端到端方式联合超分光学流与图像，提升视频超分性能。
• 通过高分辨率运动估计，增强超分视频序列的时间一致性和空间细节质量。
• 证明高分辨率光学流估计能显著提升视频超分的准确性和视觉质量。
• 开发一种轻量化、可扩展的架构，在减少参数量的同时保持高性能。

提出的方法

• 提出一种光学流重建网络（OFRnet），以级联细化方式从低分辨率帧估计高分辨率光学流。
• 使用空间到深度变换（space-to-depth transformation），在运动补偿过程中弥合高分辨率光学流与低分辨率输入帧之间的分辨率差距。
• 利用估计的高分辨率光学流对低分辨率帧进行运动补偿，以对齐时间特征后再进行超分。
• 在 OFRnet 中采用尺度递归架构，通过多阶段逐步优化高分辨率光学流预测。
• 结合通道拆分、通道洗牌与深度可分离卷积，以减少模型参数量，同时保持性能。
• 将运动补偿后的低分辨率特征与超分网络（SRnet）结合，生成最终的高分辨率视频帧。

实验结果

研究问题

• RQ1 从低分辨率输入中进行光学流超分，是否能提升视频超分的准确性和一致性？
• RQ2 估计高分辨率光学流是否能带来更优的运动补偿与更优的细节恢复效果？
• RQ3 在基准数据集上，所提出的 SOF-VSR 框架在 PSNR、SSIM 和视觉质量方面与最先进方法相比如何？
• RQ4 高分辨率光学流估计在下游高级视觉任务（如人脸识别）中的性能提升程度如何？
• RQ5 轻量化、参数高效的架构能否在视频超分任务中保持最先进性能？

主要发现

• 在 Vid4 数据集上，SOF-VSR 实现了 32.15 dB 的 PSNR 和 0.912 的 SSIM，分别优于之前最先进方法 SPMC 1.26 dB 和 3.15%。
• 在 DAVIS-10 数据集上，由于更精确的高分辨率光学流估计，SOF-VSR 在处理快速运动物体和大位移时表现更优。
• 定性结果表明，与 Bicubic、VSRnet、DRCN、LapSRN 和 SPMC 相比，SOF-VSR 能够恢复更精细的细节（如衣物上的图案和文字），且伪影更少。
• 在 YouTube Face 数据集的 4× 超分子集上的人脸识别任务中，SOF-VSR 实现了 58.1% 的 top-1 准确率与 74.1% 的 top-5 准确率，分别优于 CARN 1.2% 和 1.7%。
• 轻量化版本（SOF-VSR-BD）将模型参数量减少超过 30%，同时保持与原始 SOF-VSR 网络相当的性能。
• 消融实验验证，高分辨率光学流估计显著提升了超分准确性和时间一致性，证实了核心设计选择的有效性。