[论文解读] All at Once: Temporally Adaptive Multi-Frame Interpolation with Advanced Motion Modeling

Zhixiang Chi, Rasoul Mohammadi Nasiri+4 more|arXiv (Cornell University)|Jul 23, 2020

Advanced Vision and Imaging参考文献 29被引用 5

一句话总结

本文提出一种一次性、时序自适应的多帧插值网络，采用时序金字塔结构联合优化多个中间帧，实现高质量且时序一致的结果。该方法引入先进的三次运动建模与松弛损失函数以进行光流估计，相较于最先进方法，在Adobe240数据集上实现1.57 dB更高的PSNR，模型参数量减少8倍，推理速度提升7.7倍。

ABSTRACT

Recent advances in high refresh rate displays as well as the increased interest in high rate of slow motion and frame up-conversion fuel the demand for efficient and cost-effective multi-frame video interpolation solutions. To that regard, inserting multiple frames between consecutive video frames are of paramount importance for the consumer electronics industry. State-of-the-art methods are iterative solutions interpolating one frame at the time. They introduce temporal inconsistencies and clearly noticeable visual artifacts. Departing from the state-of-the-art, this work introduces a true multi-frame interpolator. It utilizes a pyramidal style network in the temporal domain to complete the multi-frame interpolation task in one-shot. A novel flow estimation procedure using a relaxed loss function, and an advanced, cubic-based, motion model is also used to further boost interpolation accuracy when complex motion segments are encountered. Results on the Adobe240 dataset show that the proposed method generates visually pleasing, temporally consistent frames, outperforms the current best off-the-shelf method by 1.57db in PSNR with 8 times smaller model and 7.7 times faster. The proposed method can be easily extended to interpolate a large number of new frames while remaining efficient because of the one-shot mechanism.

研究动机与目标

• 解决迭代式多帧插值方法中逐帧生成所导致的时序不一致与视觉伪影问题。
• 克服线性或二次运动模型在捕捉具有可变加速度的复杂非线性真实世界运动时的局限性。
• 设计一种单网络、一次性框架，联合优化所有中间帧，以确保时序一致性并提升插值质量。
• 减小模型大小与推理时间，以支持在移动设备与嵌入式设备上的部署，使高质量帧插值在实际应用中更具可行性。
• 在光流估计中引入松弛损失函数，即使允许预测位置与真实位置存在微小偏差，也能提升运动预测精度。

提出的方法

• 提出一种时序金字塔网络架构，通过浅层子网络处理较易生成的中间帧（靠近输入帧），通过深层子网络处理较难生成的帧（时间上更远），实现自适应的联合优化。
• 采用基于三次方的运动模型，以更好地捕捉非线性运动趋势，包括可变加速度，相比线性或二次模型显著提升精度。
• 提出一种松弛损失函数用于光流估计，允许预测的光流向量将像素映射到其真实位置的邻近区域，增强鲁棒性并提升中间帧的运动预测性能。
• 使用多个输入帧（如 I₀, I₁）以改善运动估计与插值质量，利用超过两帧的时间上下文信息。
• 设计网络在单次前向传播中生成所有中间帧，避免迭代方法中常见的误差传播与时序抖动问题。
• 通过网络架构设计与损失函数优化，提升模型效率，实现在参数更少、推理更快的前提下保持高性能。

实验结果

研究问题

• RQ1 一次性、端到端的多帧插值网络是否能在时序一致性方面优于迭代式、逐帧生成的方法？
• RQ2 在复杂运动场景下，相较于线性或二次模型，基于三次运动预测的先进运动建模在多帧插值质量方面有何提升？
• RQ3 在光流估计中引入松弛损失函数，能在多大程度上提升运动预测精度与最终插值质量？
• RQ4 一种根据帧生成难度自适应的时序金字塔结构，是否能同时提升多帧插值的质量与效率？
• RQ5 是否可能在显著减小模型尺寸并加快推理速度的前提下，实现SOTA性能，从而支持移动设备上的实时部署？

主要发现

• 所提方法在Adobe240数据集上相比最先进方法[26]实现1.57 dB更高的PSNR，证明其插值质量更优。
• 模型参数量仅为[26]的12.5%（即8倍小），同时保持更高性能，表明效率显著提升。
• 在插值超过8帧时，推理速度比[26]快7.7倍，非常适合实时应用。
• 尽管松弛损失函数略微降低了初始光流估计质量，但其在中间帧的运动预测中表现更优，最终插值结果更佳。
• 消融实验表明，时序金字塔结构通过联合优化所有中间帧，显著提升了中间帧的插值质量。
• 得益于其一次性、可扩展的架构，该方法在扩展至插值大量帧时仍能保持高性能与高效率。