[论文解读] StableNet: Semi-Online, Multi-Scale Deep Video Stabilization

Chia-Hung Huang, Hang Yin+2 more|arXiv (Cornell University)|Jul 24, 2019

Image and Video Stabilization参考文献 26被引用 9

一句话总结

StableNet 提出了一种半在线的、多尺度的深度学习方法，用于视频稳定化。该方法从低到高分辨率逐步处理帧，通过学习仿射变换来稳定抖动视频，而无需显式估计运动。尽管在合成数据上进行训练，且仅使用简单的抖动模式，该方法在不稳定视频上实现了最先进性能，并在复杂场景（如变焦和视差）中表现出鲁棒性。

ABSTRACT

Video stabilization algorithms are of greater importance nowadays with the prevalence of hand-held devices which unavoidably produce videos with undesirable shaky motions. In this paper we propose a data-driven online video stabilization method along with a paired dataset for deep learning. The network processes each unsteady frame progressively in a multi-scale manner, from low resolution to high resolution, and then outputs an affine transformation to stabilize the frame. Different from conventional methods which require explicit feature tracking or optical flow estimation, the underlying stabilization process is learned implicitly from the training data, and the stabilization process can be done online. Since there are limited public video stabilization datasets available, we synthesized unstable videos with different extent of shake that simulate real-life camera movement. Experiments show that our method is able to outperform other stabilization methods in several unstable samples while remaining comparable in general. Also, our method is tested on complex contents and found robust enough to dampen these samples to some extent even it was not explicitly trained in the contents.

研究动机与目标

• 开发一种端到端的在线视频稳定化方法，避免显式估计相机路径或计算光流。
• 通过合成具有精确真实值的逼真抖动视频，解决视频稳定化任务中大规模成对训练数据的缺乏问题。
• 通过数据多样性与多尺度优化，提升在复杂视频内容（如变焦和视差场景）中的稳定化性能。
• 通过多尺度架构利用历史帧的时间上下文，实现实时在线处理。

提出的方法

• 网络采用类似孪生网络的多尺度架构，在三个分辨率层级（低、中、高）处理输入帧，每个层级具有不同的时间采样间隔。
• 输入包括各分辨率层级的历史稳定帧堆叠和一帧不稳定的帧，使模型能够捕捉短期与长期运动模式。
• 模型为每个分辨率层级输出一个仿射变换，随后将这些变换融合以稳定当前的不稳定的帧。
• 引入半在线策略，先对视频块进行稳定化处理，再进行合并，从而减少误差传播，并改善对低频运动的处理。
• 方法在约420段抖动视频（17万+帧）的合成数据集上进行端到端训练，这些视频通过在稳定源片段上应用逼真的抖动模式生成。
• 损失函数在每个尺度上独立计算，并通过共享网络反向传播，实现多尺度特征的联合优化。

实验结果

研究问题

• RQ1 基于数据驱动的端到端深度学习模型是否能在不显式估计相机路径或计算光流的情况下，实现具有竞争力的视频稳定化性能？
• RQ2 具有受控抖动模式的合成成对数据集在训练鲁棒视频稳定化模型方面的有效性如何？
• RQ3 在仅使用简单2D抖动训练的模型，能在多大程度上泛化到复杂视频内容（如变焦和视差场景）？
• RQ4 与纯在线方法相比，半在线多尺度方法是否能提升稳定化性能，特别是在处理低频运动方面？
• RQ5 在保真度和稳定性方面，该模型的性能与在线和离线稳定化基线相比如何进行定量比较？

主要发现

• 在具有挑战性的不稳定视频样本上，StableNet 在保真度和稳定性方面优于其他在线稳定化方法，某些情况下性能可与离线方法媲美。
• 在特定测试片段上，该模型在稳定性度量（旋转、水平和垂直平移能量比的最小值）方面达到或超过最先进离线方法的水平。
• 在变焦和视差视频上，StableNet 保持了与 [16] 相当的定量性能，尽管未在该类内容上进行显式训练，表明其能从多样化的合成数据中实现良好泛化。
• 该模型对复杂运动（如变焦和视差）表现出鲁棒性，归因于合成训练数据集中极高的数据多样性。
• 虽然在高频抖动下表现良好，但该方法在稳定低频抖动和大尺度运动方面存在局限，表明若使用更多样化的训练模式，仍有改进空间。
• 半在线策略有效减少了误差传播，提升了对低频倾斜的处理能力，从而整体改善了稳定化质量。