[论文解读] BMBC:Bilateral Motion Estimation with Bilateral Cost Volume for Video Interpolation

Junheum Park, Keunsoo Ko+2 more|arXiv (Cornell University)|Jul 17, 2020

Advanced Vision and Imaging参考文献 34被引用 12

一句话总结

本文提出BMBC，一种基于深度学习的视频插值方法，通过使用双边代价体（bilateral cost volume）的双边运动网络，实现更准确的前向与后向运动估计，从而提升中间帧生成质量。该方法利用六组经由双边运动生成的光流图对输入帧及其上下文特征图进行特征扭曲，再通过动态滤波生成网络融合六组扭曲特征，最终在多个基准测试中达到最先进性能，包括在UCF101数据集上达到35.15 dB PSNR，在Vimeo90K数据集上达到35.01 dB PSNR。

ABSTRACT

Video interpolation increases the temporal resolution of a video sequence by synthesizing intermediate frames between two consecutive frames. We propose a novel deep-learning-based video interpolation algorithm based on bilateral motion estimation. First, we develop the bilateral motion network with the bilateral cost volume to estimate bilateral motions accurately. Then, we approximate bi-directional motions to predict a different kind of bilateral motions. We then warp the two input frames using the estimated bilateral motions. Next, we develop the dynamic filter generation network to yield dynamic blending filters. Finally, we combine the warped frames using the dynamic blending filters to generate intermediate frames. Experimental results show that the proposed algorithm outperforms the state-of-the-art video interpolation algorithms on several benchmark datasets.

研究动机与目标

• 解决视频插值中中间运动估计不准确导致的孔洞与模糊等伪影问题。
• 通过直接学习双边运动而非依赖光流近似，提升运动估计的准确性。
• 通过使用动态融合滤波器结合多组扭曲帧，提升帧生成质量。
• 通过稳健的双边运动建模，克服前向扭曲（孔洞、重叠）与后向扭曲（对运动误差敏感）的局限性。
• 构建统一框架，集成运动估计、特征扭曲与自适应滤波，实现高质量视频插值。

提出的方法

• 提出一种双边运动网络，利用双边代价体提升参考帧与目标帧之间的匹配精度。
• 估计六组中间运动候选：两组来自直接双边运动预测，四组来自近似前向/后向光流。
• 利用六组估计的双边运动对输入帧及其上下文特征图进行扭曲，生成六组扭曲特征对。
• 设计一种动态滤波生成网络，从扭曲特征与上下文特征图中学习空间自适应融合滤波器。
• 使用学习到的动态滤波器对六组扭曲帧进行叠加，生成最终的中间帧。
• 将上下文特征图作为额外输入引入滤波生成网络，以提升几何结构恢复与上下文一致性。

实验结果

研究问题

• RQ1 与标准代价体相比，双边代价体是否能提升视频插值中双边运动估计的准确性？
• RQ2 在插值质量与鲁棒性方面，直接双边运动估计与基于光流的近似方法相比表现如何？
• RQ3 结合六组扭曲帧与动态融合滤波器，对最终帧质量的影响如何？
• RQ4 向动态滤波网络中引入额外输入（输入帧与上下文特征图）对性能有何影响？
• RQ5 所提方法是否在多样化的数据集与帧率下均超越现有最先进视频插值算法？

主要发现

• 所提BMBC方法在UCF101数据集上达到35.15 dB PSNR，在Vimeo90K数据集上达到35.01 dB PSNR，优于所有现有最先进方法。
• 消融实验证实，同时使用双边运动估计（BM）与运动近似（Appx4）可获得最佳性能，相较仅使用Appx4提升0.16 dB。
• 在UCF101上，当输入帧作为额外上下文输入时，动态滤波生成网络使PSNR提升0.10 dB；在Vimeo90K上提升0.15 dB。
• 在滤波网络中加入上下文特征图后，性能进一步提升0.07 dB（UCF101）与0.05 dB（Vimeo90K），证明其在保留结构细节方面的价值。
• 在更高帧率下，该方法性能增益更为显著，尤其在Adobe240-fps数据集的8倍插值（t=0.125, 0.25, 0.375等）中表现突出。
• 在旋转车轮序列的视觉结果中，BMBC比基线方法更忠实地重建了细纹理与运动细节。