[论文解读] Enhanced Quadratic Video Interpolation

Yihao Liu, Liangbin Xie+4 more|arXiv (Cornell University)|Sep 10, 2020

Advanced Image Processing Techniques参考文献 24被引用 5

一句话总结

该论文提出了一种增强型二次视频插值方法（EQVI），通过使用最小二乘法的校正二次流预测（RQFP）、用于高维特征融合的残差上下文合成网络（RCSN），以及可学习的多尺度融合网络（MS-Fusion），在原始QVI框架基础上实现性能提升。EQVI在AIM2020视频时间超分挑战赛中取得SOTA性能，相较于QVI提升0.38dB PSNR，并在REDS_VTSR数据集上超越所有近期SOTA方法。

ABSTRACT

With the prosperity of digital video industry, video frame interpolation has arisen continuous attention in computer vision community and become a new upsurge in industry. Many learning-based methods have been proposed and achieved progressive results. Among them, a recent algorithm named quadratic video interpolation (QVI) achieves appealing performance. It exploits higher-order motion information (e.g. acceleration) and successfully models the estimation of interpolated flow. However, its produced intermediate frames still contain some unsatisfactory ghosting, artifacts and inaccurate motion, especially when large and complex motion occurs. In this work, we further improve the performance of QVI from three facets and propose an enhanced quadratic video interpolation (EQVI) model. In particular, we adopt a rectified quadratic flow prediction (RQFP) formulation with least squares method to estimate the motion more accurately. Complementary with image pixel-level blending, we introduce a residual contextual synthesis network (RCSN) to employ contextual information in high-dimensional feature space, which could help the model handle more complicated scenes and motion patterns. Moreover, to further boost the performance, we devise a novel multi-scale fusion network (MS-Fusion) which can be regarded as a learnable augmentation process. The proposed EQVI model won the first place in the AIM2020 Video Temporal Super-Resolution Challenge.

研究动机与目标

• 为解决视频插值中持续存在的伪影、重影及运动不准确问题，尤其是在大范围或复杂运动场景下。
• 通过改进运动估计与特征利用方式，超越原始的二次视频插值（QVI）方法。
• 设计一种互补且模块化的框架，通过公式优化、上下文特征学习与多尺度融合实现性能提升。
• 在视频时间超分任务中实现SOTA性能，并通过AIM2020挑战赛进行验证。

提出的方法

• 提出基于最小二乘法的校正二次流预测（RQFP）公式，用于修正因数据样本不完整导致的插值误差，在二次运动假设下提升运动流预测精度。
• 引入残差上下文合成网络（RCSN），在高维空间中融合预变形特征、原始图像与边缘图，以增强上下文理解并减少伪影。
• 设计可学习的多尺度融合网络（MS-Fusion），将不同分辨率层级的输出进行融合，作为后处理增强模块，提升PSNR，但伴随轻微SSIM下降。
• 采用序列训练策略：先训练QVI基线模型，再微调RCSN，随后引入RQFP，最后应用MS-Fusion以最大化性能。
• 使用结合L1与拉普拉斯（L_lap）损失的混合损失函数，平衡PSNR与SSIM，消融实验验证其有效性。
• 利用预提取的ResNet-18特征进行上下文建模，并集成SOTA光学流网络（如ScopeFlow）的输出，以提升运动估计质量。

实验结果

研究问题

• RQ1 基于最小二乘法的二次流预测公式校正是否能减少视频插值中的运动估计误差？
• RQ2 高维上下文特征在复杂运动场景下能否显著提升视觉质量并减少伪影？
• RQ3 可学习的多尺度融合策略是否能进一步提升PSNR，超越单尺度预测？
• RQ4 当RQFP、RCSN与MS-Fusion组件组合时，各自对性能提升的贡献程度如何？

主要发现

• EQVI在AIM2020视频时间超分挑战赛中取得最高PSNR，分别领先第二名与第三名0.08dB与0.5dB。
• 在REDS_VTSR数据集上，完整EQVI模型相较原始QVI基线提升0.38dB PSNR，证明性能显著增强。
• 仅使用RQFP组件在RCSN微调后即实现0.03dB PSNR提升，证实其在优化运动流估计方面的有效性。
• 在RCSN中引入边缘图与图像特征后，PSNR从24.916dB提升至24.927dB，表明多模态输入可增强上下文建模能力。
• MS-Fusion模块虽提升PSNR，但轻微降低SSIM，表明在度量精度与感知质量之间存在权衡。
• L1与拉普拉斯损失的组合实现最佳平衡，获得24.775 PSNR与0.717 SSIM，优于单一损失基线。