[论文解读] Depth-Aware Video Frame Interpolation

Bao, Wenbo, Lai, Wei-Sheng+4 more|arXiv (Cornell University)|Apr 1, 2019

Advanced Vision and Imaging参考文献 39被引用 4

一句话总结

本文提出深度感知视频帧插值（DAIN），一种利用深度图显式检测遮挡并提升帧插值质量的方法。通过引入一种深度感知光流投影层，在光流聚合过程中优先考虑较近的物体，结合光流、局部插值核与可学习的层次特征，DAIN 在结构紧凑、高效且完全可微分的架构下实现了最先进性能。

ABSTRACT

This paper explores how recent convolutional neural network (CNN)-based techniques can be used to interpolate images inside scientific image databases. These databases are frequently used for the interactive visualization of large-scale simulations, where images correspond to samples of the parameter space (e.g., timesteps, isovalues, thresholds, etc.) and the visualization space (e.g., camera locations, clipping planes, etc.). These databases can be browsed post hoc along the sampling axis to emulate real-time interaction with large-scale datasets. However, the resulting databases are limited to their contained images, i.e., the sampling points. In this paper, we explore how efficiently and accurately CNN-based techniques can derive new images by interpolating database elements. We demonstrate on several real-world examples that the size of databases can be further reduced by dropping samples that can be interpolated post hoc with an acceptable error, which we measure qualitatively and quantitatively.

研究动机与目标

• 解决因大运动和遮挡导致的视频帧插值中运动模糊与伪影问题。
• 通过显式利用深度信息检测遮挡，而非仅依赖大型模型的隐式推理，提升插值质量。
• 开发一种结构紧凑、高效且完全可微分的模型，整合光流、深度与上下文特征，实现高质量帧合成。
• 通过合成任意中间帧，实现高保真慢动作视频生成，确保边缘清晰、物体边界明确。

提出的方法

• 提出一种深度感知光流投影层，根据深度值聚合光流向量，优先考虑较近物体，以提升运动边界的清晰度。
• 使用共享的编码器-解码器架构，从输入帧中估计双向光流与深度图。
• 在不依赖ResNet等预训练分类网络的前提下，从大感受野中学习层次特征。
• 利用估计的光流与局部插值核，对输入帧、深度图与上下文特征实施自适应变形。
• 通过在变形特征与光流聚合表示上应用残差学习，合成最终的插值帧。
• 采用结构紧凑、端到端可训练且完全可微分的网络，优化推理效率。

实验结果

研究问题

• RQ1 深度信息能否被有效利用以提升视频帧插值中的遮挡检测能力？
• RQ2 与标准光流平均相比，深度感知光流聚合机制是否能产生更清晰的运动边界并减少伪影？
• RQ3 在不增加模型复杂度的前提下，可学习的层次特征提取策略是否能优于预训练特征？
• RQ4 在多样化数据集上，该方法与最先进方法相比，在性能与效率方面表现如何？
• RQ5 模型的紧凑性与推理速度在多大程度上影响帧插值模型的实际部署？

主要发现

• DAIN 在多个基准测试中达到最先进性能，在 Vimeo90K 数据集上相比 MEMC-Net 实现了 0.42 dB 的 PSNR 提升。
• 模型参数量仅为 MEMC-Net 的 69%，同时保持相近的推理速度，展现出高度的效率与紧凑性。
• 视觉对比显示，DAIN 生成的帧边缘更清晰，内容对齐更优（如电线杆、面部特征），且伪影（如鬼影与模糊）更少。
• 深度感知光流投影层通过在光流聚合过程中优先考虑较近物体，显著提升了运动边界的清晰度。
• 该方法可生成高质量的中间帧，适用于 10 倍慢动作视频生成，补充结果已证明其有效性。
• 当深度图估计质量较差时，模型可能产生模糊结果，表明其对深度质量敏感，但即便如此仍优于 ToFlow。