[论文解读] Multi-Scale Video Frame-Synthesis Network with Transitive Consistency Loss

Zhe Hu, Yinglan Ma+1 more|arXiv (Cornell University)|Dec 7, 2017

Advanced Vision and Imaging参考文献 39被引用 8

一句话总结

该论文提出了一种统一的多尺度深度网络 MSFSN，可在无需微调的情况下，实现任意时间位置的端到端视频帧插值与外推。通过引入传递一致性损失并共享多尺度金字塔层级间的参数，该模型在减少模型尺寸的同时实现了最先进的性能，且具有高效率，适用于移动设备和边缘设备。

ABSTRACT

Traditional approaches to interpolate/extrapolate frames in a video sequence require accurate pixel correspondences between images, e.g., using optical flow. Their results stem on the accuracy of optical flow estimation, and could generate heavy artifacts when flow estimation failed. Recently methods using auto-encoder has shown impressive progress, however they are usually trained for specific interpolation/extrapolation settings and lack of flexibility and In order to reduce these limitations, we propose a unified network to parameterize the interest frame position and therefore infer interpolate/extrapolate frames within the same framework. To achieve this, we introduce a transitive consistency loss to better regularize the network. We adopt a multi-scale structure for the network so that the parameters can be shared across multi-layers. Our approach avoids expensive global optimization of optical flow methods, and is efficient and flexible for video interpolation/extrapolation applications. Experimental results have shown that our method performs favorably against state-of-the-art methods.

研究动机与目标

• 解决现有帧生成方法在固定插值/外推设置下训练、缺乏跨时间位置泛化能力的局限性。
• 降低对光流估计的依赖，后者计算成本高且在运动模糊下易产生伪影。
• 开发一个单一的统一网络，可在无需微调的情况下，合成任意时间比的帧（插值或外推）。
• 通过最小化模型尺寸，在保持高重建质量的同时，实现对移动设备和边缘设备的高效部署。
• 通过一种新颖的传递一致性损失，提升在多样化运动模式下的训练稳定性和泛化能力。

提出的方法

• 提出一种多尺度帧生成网络（MSFSN），通过分层特征金字塔以粗到精的方式重建目标帧。
• 引入传递一致性损失，以在多个帧预测之间强制实现逻辑一致性，从而实现插值与外推任务的联合训练。
• 通过对齐输入/输出格式与功能角色，实现金字塔层级间的网络参数共享，减少模型尺寸并提升可扩展性。
• 将目标帧的时间位置参数化为可学习变量，使网络在推理时能泛化至任意时间比。
• 使用带空间自适应卷积的残差块，以建模运动变化，而无需显式光流估计。
• 采用重建损失与传递一致性损失的组合进行端到端训练，以提升时序一致性和泛化能力。

实验结果

研究问题

• RQ1 是否可以训练单一深度神经网络，在无需微调的情况下，实现任意时间位置（插值或外推）的视频帧生成？
• RQ2 如何在多个帧预测之间强制实现传递一致性，以提升训练稳定性和泛化能力？
• RQ3 在保持高重建精度的前提下，多尺度金字塔层级间的参数共享能在多大程度上减小模型尺寸？
• RQ4 与基于光流和自编码器的方法相比，该方法在视觉质量、效率以及大运动或遮挡情况下的鲁棒性如何？
• RQ5 该统一框架是否能在不进行架构修改或微调的情况下，有效处理插值与外推任务？

主要发现

• 所提出的 MSFSN 在基准数据集（KITTI、UCF-101、THUMOS-15）上，对插值与外推任务均实现了最先进性能。
• 与 FlowNet2 和 AdapSC 相比，该模型生成的帧更清晰，对直线和细节的保持更优，尤其在多帧插值场景中表现突出。
• 用户研究结果显示，70% 的参与者更偏好本方法而非 FlowNet2、EpicFlow 和 DVF，其性能与 AdapSC 相当。
• 与基于自编码器的方法（如 [31, 32, 24]）相比，该网络显著更小，适用于移动设备和边缘设备部署。
• 传递一致性损失有效正则化了训练过程，实现了插值与外推任务的联合优化，且无性能下降。
• 该模型对长距离运动泛化良好，且可通过在推理时堆叠更多金字塔层级来扩展容量。