[论文解读] Deep Online Video Stabilization

Miao Wang, Guo-Ye Yang+5 more|arXiv (Cornell University)|Feb 22, 2018

Image and Video Stabilization参考文献 34被引用 9

一句话总结

本文提出 StabNet，一种基于深度学习的在线视频稳定方法，利用卷积神经网络（ConvNet）仅通过历史已稳定帧实时预测每一帧的渐进式变换。该方法在 93.3 FPS 下实现实时性能，速度比离线方法快约 30 倍，且在传统方法失效的低质量视频（如夜间和模糊画面）中表现出更强鲁棒性。

ABSTRACT

Video stabilization technique is essential for most hand-held captured videos due to high-frequency shakes. Several 2D-, 2.5D- and 3D-based stabilization techniques are well studied, but to our knowledge, no solutions based on deep neural networks had been proposed. The reason for this is mostly the shortage of training data, as well as the challenge of modeling the problem using neural networks. In this paper, we solve the video stabilization problem using a convolutional neural network (ConvNet). Instead of dealing with offline holistic camera path smoothing based on feature matching, we focus on low-latency real-time camera path smoothing without explicitly representing the camera path. Our network, called StabNet, learns a transformation for each input unsteady frame progressively along the time-line, while creating a more stable latent camera path. To train the network, we create a dataset of synchronized steady/unsteady video pairs via a well designed hand-held hardware. Experimental results shows that the proposed online method (without using future frames) performs comparatively to traditional offline video stabilization methods, while running about 30 times faster. Further, the proposed StabNet is able to handle night-time and blurry videos, where existing methods fail in robust feature matching.

研究动机与目标

• 为解决因数据稀缺和问题建模挑战导致的基于深度学习的视频稳定方法缺乏问题。
• 开发一种无需显式建模相机路径的实时在线视频稳定系统。
• 构建一个实际可用的同步稳定/不稳定视频对数据集，用于训练深度学习模型。
• 实现在传统特征匹配失效的低质量视频（如夜间和模糊画面）上的鲁棒稳定。
• 证明端到端学习结合历史帧上下文可实现与离线方法相当的性能。

提出的方法

• StabNet 使用轻量级 ConvNet，基于先前已稳定帧序列，为每一帧输入的不稳定画面预测单应性变换。
• 网络以在线、渐进的方式处理帧，更新潜在相机路径，而无需显式建模完整相机轨迹。
• 通过双摄像头的定制硬件设置捕获同步的稳定与不稳定视频对，确保内容与运动完全一致。
• 模型采用监督方式训练，以真实稳定帧作为目标，通过逐帧变换预测最小化损失。
• 该方法仅依赖过去帧，实现零延迟，适用于流媒体应用的实时部署。
• 架构避免对未来的帧依赖，适用于实时视频处理。

实验结果

研究问题

• RQ1 能否有效训练深度神经网络实现实时视频稳定，且不依赖未来帧？
• RQ2 如何构建大规模、高质量的同步稳定/不稳定视频对数据集，以用于视频稳定网络的训练？
• RQ3 基于学习的方法是否能在低质量视频（如模糊或夜间画面）上超越传统特征匹配方法？
• RQ4 基于历史已稳定帧训练的模型，在多大程度上可实现与离线路径平滑方法相当的性能？
• RQ5 是否可行跳过显式相机路径估计，转而直接学习逐帧的稳定变换？

主要发现

• StabNet 实现 93.3 FPS 的实时推理速度，约为 Adobe Premiere CS6 和 MeshFlow 等离线稳定方法的 30 倍。
• 该方法在视觉质量上与离线方法相当，用户研究表明在常规和运动类视频中更偏好 StabNet 的结果。
• StabNet 在处理低质量视频（如夜间和运动模糊序列）方面优于传统方法，后者在这些场景下特征匹配会失效。
• 用户研究表明，StabNet 在六类视频中的五类中被更偏好，或与 Adobe Premiere CS6 的结果无法区分。
• 所提出的 DeepStab 数据集（包含同步的稳定/不稳定视频对）是首个公开可用的深度视频稳定训练数据集。