[论文解读] Asymmetric Bilateral Motion Estimation for Video Frame Interpolation

Junheum Park, Chul Lee+1 more|arXiv (Cornell University)|Aug 15, 2021

Advanced Vision and Imaging参考文献 42被引用 4

一句话总结

该论文提出了一种新型视频帧插值方法——非对称双边运动估计（ABME），通过利用中间锚定帧的非对称运动向量对对称双边运动场进行优化，从而提高运动估计的准确性。结合动态滤波与残差精炼，ABME在Vimeo90K数据集上实现了最先进性能，相比之前的方法在Easy和Medium子集上提升高达2 dB，在挑战性子集上提升1 dB。

ABSTRACT

We propose a novel video frame interpolation algorithm based on asymmetric bilateral motion estimation (ABME), which synthesizes an intermediate frame between two input frames. First, we predict symmetric bilateral motion fields to interpolate an anchor frame. Second, we estimate asymmetric bilateral motions fields from the anchor frame to the input frames. Third, we use the asymmetric fields to warp the input frames backward and reconstruct the intermediate frame. Last, to refine the intermediate frame, we develop a new synthesis network that generates a set of dynamic filters and a residual frame using local and global information. Experimental results show that the proposed algorithm achieves excellent performance on various datasets. The source codes and pretrained models are available at https://github.com/JunHeum/ABME.

研究动机与目标

• 解决对称双边运动模型中刚性线性运动约束导致的视频帧插值运动估计不准确问题。
• 通过利用经过优化的运动场进行反向映射，克服前向与后向映射的局限性，特别是减少孔洞与重叠伪影。
• 在遮挡区域与运动边界区域提升插值质量，这些区域中对称运动模型因轨迹非线性而失效。
• 设计一个合成网络，通过动态滤波器与全局上下文特征有效融合映射帧，以减少伪影与噪声。
• 在多样化数据集上实现最先进性能，包括具有快速运动与遮挡的挑战性序列。

提出的方法

• 在输入帧之间预测对称双边运动场，通过反向映射生成中间锚定帧。
• 从锚定帧向两个输入帧估计非对称双边运动场，放松线性运动约束，以更好地建模非线性轨迹。
• 使用非对称运动场将输入帧反向映射，生成用于重建的候选映射帧。
• 设计一个包含两个子网络的合成网络：FilterNet利用局部特征生成动态滤波器，对候选映射帧进行加权；RefineNet利用全局上下文重建残差帧。
• 在非对称运动优化模块中集成可学习的可靠性掩码与偏移图，以提升复杂区域的运动估计精度。
• 通过学习的动态滤波器融合多个映射帧候选（对称与非对称），并利用上下文特征图对输出进行精炼，以增强保真度。

实验结果

研究问题

• RQ1 与对称模型相比，非对称双边运动估计是否能提升视频帧插值中的运动估计准确性？
• RQ2 放松线性运动约束对遮挡区域与运动边界区域插值质量有何影响？
• RQ3 当融合多个映射输入时，动态滤波器与残差精炼在帧合成中能提升多少性能？
• RQ4 可靠性掩码与偏移图在非对称运动场优化中的贡献有多大？
• RQ5 结合对称与非对称映射帧候选是否优于单独使用任一类型？

主要发现

• 所提出的ABME方法在Vimeo90K数据集上实现了最先进性能，在Easy与Medium子集上相比之前方法PSNR最高提升2 dB。
• 在Hard与Extreme子集上，ABME相比最佳现有方法性能至少提升1 dB，表明其对复杂运动模式具有强鲁棒性。
• 对称与非对称映射帧候选的结合取得最佳结果（Vimeo90K上PSNR为36.18），优于仅使用对称（35.91）或仅使用非对称（36.05）的设置。
• ABMR-Net中的可靠性掩码与偏移图各自对运动优化有显著贡献，两者同时使用时在Vimeo90K上分别提升PSNR 0.49 dB与0.52 dB。
• 在RefineNet中引入滤波特征图（$\widetilde{C}_t$）使PSNR提升0.1 dB，证实其在降噪与上下文感知恢复中的关键作用。
• 视觉分析表明，与对称或近似运动模型相比，ABME显著减少了运动物体与遮挡区域的伪影与误差，尤其在高速运动序列中表现更优。