[论文解读] Deep Motion Blind Video Stabilization

Muhammad Kashif Ali, Sangjoon Yu+1 more|arXiv (Cornell University)|Nov 19, 2020

Image and Video Stabilization被引用 4

一句话总结

该论文提出了一种首个无需运动估计的、基于深度学习的视频稳定方法，可直接合成稳定帧，而无需依赖显式的运动估计。通过基于迭代帧插值的新型无监督数据集生成流程，该方法实现了全帧稳定，视觉保真度更高，且推理速度相比最先进方法提升约3倍，在失真和裁剪指标上优于依赖运动感知的基线方法，同时保持了分辨率和内容完整性。

ABSTRACT

Despite the advances in the field of generative models in computer vision, video stabilization still lacks a pure regressive deep-learning-based formulation. Deep video stabilization is generally formulated with the help of explicit motion estimation modules due to the lack of a dataset containing pairs of videos with similar perspective but different motion. Therefore, the deep learning approaches for this task have difficulties in the pixel-level synthesis of latent stabilized frames, and resort to motion estimation modules for indirect transformations of the unstable frames to stabilized frames, leading to the loss of visual content near the frame boundaries. In this work, we aim to declutter this over-complicated formulation of video stabilization with the help of a novel dataset that contains pairs of training videos with similar perspective but different motion, and verify its effectiveness by successfully learning motion blind full-frame video stabilization through employing strictly conventional generative techniques and further improve the stability through a curriculum-learning inspired adversarial training strategy. Through extensive experimentation, we show the quantitative and qualitative advantages of the proposed approach to the state-of-the-art video stabilization approaches. Moreover, our method achieves $\sim3 imes$ speed-up over the currently available fastest video stabilization methods.

研究动机与目标

• 为解决由于缺乏具有相似视角但不同运动的配对训练数据，导致视频稳定领域缺乏纯回归式深度学习方法的问题。
• 通过实现从不稳定输入直接进行像素级合成，消除对显式运动估计模块的依赖。
• 开发一种可扩展的无监督数据集生成流程，能够从不稳定的手持视频中生成等距透视的稳定视频。
• 通过受课程学习启发的对抗性训练策略，提升时间一致性与视觉质量。
• 证明在合理数据与训练设计下，仅使用常规生成网络即可实现无运动感知视频稳定，且效果可行且有效。

提出的方法

• 提出一种数据集生成流程（DGP），利用迭代帧插值从不稳定的手持视频中合成高质量、等距透视的稳定视频。
• 采用常规的U-Net结构生成器网络，直接从不稳定输入预测稳定帧，跳过光流或图像扭曲模块。
• 引入对比运动损失，以增强时间一致性并减少输出中的抖动。
• 应用课程学习策略，逐步增加训练复杂度，使网络分阶段学习稳定化过程。
• 采用时间对抗性训练策略，提升稳定视频序列的视觉真实感与时间连贯性。
• 利用生成的数据集训练无运动感知的稳定化网络，实现全帧分辨率与视觉内容的保留。

实验结果

研究问题

• RQ1 是否可以仅通过端到端像素级合成，无需显式运动估计，实现全帧视频稳定？
• RQ2 无运动感知的深度学习模型是否能在视觉质量与稳定性上超越依赖运动感知的最先进方法？
• RQ3 在不稳定与稳定视频对之间保持一致视角的数据集，是否能提升视频稳定任务中的泛化能力与性能表现？
• RQ4 课程学习与对抗性训练是否能提升无运动感知稳定化中的时间一致性与视觉保真度？
• RQ5 是否可能在不牺牲质量或内容保留的前提下，实现显著的推理速度提升？

主要发现

• 所提方法相比当前最快视频稳定方法实现约3倍的速度提升，显著提高了推理效率。
• 在NUS数据集上，该方法在失真与裁剪指标上优于最先进方法，表明其在视觉内容与帧分辨率保留方面表现更优。
• 在训练数据中运动特征相似的视频（如Crowd、Parallax、Quick Rotation）上，模型在稳定性指标上表现具有竞争力，但在其他类别上略有滞后，原因在于数据集偏差。
• 视觉对比显示，与Adobe Premiere 2018 CC、Robust L1、DIFRINT及迭代CAIN相比，该方法在尺度与内容保留方面表现更优，伪影更少，分辨率更高。
• 用户研究与补充结果证实，该方法生成的视频在视觉一致性与自然感方面更优。
• 消融实验表明，对比运动损失与课程学习策略显著提升了时间一致性，减少了输出中的闪烁与抖动。