[论文解读] AIM 2020 Challenge on Video Temporal Super-Resolution

Sanghyun Son, Jaerin Lee+3 more|arXiv (Cornell University)|Sep 28, 2020

Advanced Image Processing Techniques参考文献 42被引用 7

一句话总结

本论文介绍了2020年视频时间超分（VTSR）挑战赛，参赛者通过插值中间帧，将低帧率（15 fps）视频提升至30和60 fps。冠军团队XPixel提出了增强型二次视频插值方法，在REDS_VTSR数据集上实现了最先进性能，相比先前方法在PSNR上提升了0.22 dB。

ABSTRACT

Videos in the real-world contain various dynamics and motions that may look unnaturally discontinuous in time when the recordedframe rate is low. This paper reports the second AIM challenge on Video Temporal Super-Resolution (VTSR), a.k.a. frame interpolation, with a focus on the proposed solutions, results, and analysis. From low-frame-rate (15 fps) videos, the challenge participants are required to submit higher-frame-rate (30 and 60 fps) sequences by estimating temporally intermediate frames. To simulate realistic and challenging dynamics in the real-world, we employ the REDS_VTSR dataset derived from diverse videos captured in a hand-held camera for training and evaluation purposes. There have been 68 registered participants in the competition, and 5 teams (one withdrawn) have competed in the final testing phase. The winning team proposes the enhanced quadratic video interpolation method and achieves state-of-the-art on the VTSR task.

研究动机与目标

• 开发适用于真实世界低帧率视频的鲁棒且高效的视频时间超分（VTSR）方法。
• 解决手持摄像机拍摄视频中复杂非线性运动的挑战，具备真实动态特性。
• 通过基于REDS_VTSR数据集的基准竞赛推进帧插值技术的发展。
• 在标准化训练与评估协议下，评估并比较多种基于深度学习的VTSR方法。

提出的方法

• 冠军团队XPixel提出了一种增强型二次视频插值（EQVI）框架，扩展了QVI方法，改进了运动建模。
• 该方法使用双向光流图 $ F_{t\rightarrow t+1} $ 和 $ F_{t+1\rightarrow t} $，通过 $ n $ 和 $ 1-n $ 重新缩放，以在不同时间插值率下生成中间帧。
• 在STARnet架构中引入可变形卷积，以更好地处理复杂物体运动。
• 采用PWC-Net进行光流估计，相比基线模型提升了精度。
• 使用基于DBPN和RBPN的多尺度超分网络，将低分辨率特征上采样至原始分辨率。
• 训练过程中应用旋转、翻转和裁剪等数据增强策略，以提升泛化能力。

实验结果

研究问题

• RQ1 如何增强二次运动建模以提升复杂真实世界视频动态下的帧插值精度？
• RQ2 光流精度在从低帧率输入重建高帧率视频中起到何种作用？
• RQ3 可变形卷积与多尺度特征学习是否能提升在具有挑战性的VTSR基准上的性能？
• RQ4 在PSNR和感知质量方面，基于光流、基于核、基于相位的运动表示策略有何差异？
• RQ5 哪些关键的架构与训练组件促成了VTSR中的最先进性能？

主要发现

• XPixel团队在15→60 fps任务中实现了最高性能，相比QVI基线在PSNR上提升了0.22 dB。
• 挑战赛中排名前三的方法均采用了二次运动建模，证实其在精确时间插值中的有效性。
• 使用重新缩放的光流图使单一网络能够以多种时间插值率生成中间帧。
• 可变形卷积与改进的光流估计（PWC-Net）显著提升了在大运动视频中的性能。
• 该挑战表明，对真实世界动态（如快速运动与遮挡）的鲁棒性是实现高质量VTSR的关键。
• 统一的评估框架实现了公平比较，并揭示了感知质量与PSNR并不总相关。