[論文レビュー] Deep Online Video Stabilization

Miao Wang, Guo-Ye Yang+5 more|arXiv (Cornell University)|Feb 22, 2018

Image and Video Stabilization参考文献 34被引用数 9

ひとこと要約

本論文では、StabNetと呼ばれる深層学習ベースのオンライン動画安定化手法を提案する。この手法は、畳み込みニューラルネットワーク（ConvNet）を用いて、過去に安定化されたフレームのみを用いて、各不安定なフレームのリアルタイムでプログレッシブな変換を予測する。この方法は93.3 FPSのリアルタイム性能を達成し、オフライン手法よりも30倍速く、従来の手法が失敗する夜間やぼやけた映像のような低品質な動画に対しても有効である。

ABSTRACT

Video stabilization technique is essential for most hand-held captured videos due to high-frequency shakes. Several 2D-, 2.5D- and 3D-based stabilization techniques are well studied, but to our knowledge, no solutions based on deep neural networks had been proposed. The reason for this is mostly the shortage of training data, as well as the challenge of modeling the problem using neural networks. In this paper, we solve the video stabilization problem using a convolutional neural network (ConvNet). Instead of dealing with offline holistic camera path smoothing based on feature matching, we focus on low-latency real-time camera path smoothing without explicitly representing the camera path. Our network, called StabNet, learns a transformation for each input unsteady frame progressively along the time-line, while creating a more stable latent camera path. To train the network, we create a dataset of synchronized steady/unsteady video pairs via a well designed hand-held hardware. Experimental results shows that the proposed online method (without using future frames) performs comparatively to traditional offline video stabilization methods, while running about 30 times faster. Further, the proposed StabNet is able to handle night-time and blurry videos, where existing methods fail in robust feature matching.

研究の動機と目的

• データ不足と問題定式化の難しさのため、深層学習ベースの動画安定化手法が不足しているという課題に対処すること。
• 明示的なカメラパスモデリングを回避するリアルタイムでオンラインの動画安定化システムを開発すること。
• 深層学習モデルの学習に適した、同期された安定/不安定な動画ペアから構成される実用的データセットを作成すること。
• 特徴マッチングに失敗するような、夜間やぼやけた映像など低品質な動画に対しても、頑健な安定化を実現すること。
• 歴史的フレームのコンテキストを用いたエンドツーエンド学習により、オフライン手法と同等の性能を達成できることを示すこと。

提案手法

• StabNetは、過去に安定化されたフレームのシーケンスに基づいて、入力される各不安定なフレームのホモグラフィー変換を予測する軽量なConvNetを採用する。
• ネットワークはオンラインでプログレッシブに処理を行い、完全なカメラ軌道を明示的にモデリングせずに、潜在的なカメラパスを更新する。
• 同じ内容と動きを持つように、二台のカメラを用いた独自のハードウェアセットにより、学習用に同期された安定・不安定な動画ペアを収集する。
• モデルは教師あり学習で訓練され、真値の安定フレームをターゲットとして、フレームごとの変換予測により損失を最小化する。
• 将来のフレームに依存しないため、過去のフレームのみに依存するため、レイテンシーゼロで動作し、ストリーミングアプリケーションへのリアルタイムデプロイが可能である。
• 将来のフレームに依存しないため、ライブ動画処理に適したアーキテクチャである。

実験結果

リサーチクエスチョン

• RQ1 将来のフレームに依存しないで、リアルタイムで動画を安定化できるように深層ニューラルネットワークを効果的に訓練できるか？
• RQ2 大規模かつ高品質な同期された安定/不安定な動画ペアのデータセットを、動画安定化ネットワークの学習に用いるために、どのように構築できるか？
• RQ3 学習ベースのアプローチは、ぼやけたまたは夜間の映像など低品質な動画において、従来の特徴マッチング手法を上回ることができるか？
• RQ4 歴史的安定フレームに基づいて学習されたモデルは、オフラインのパススムージング手法と同等の性能をどの程度達成できるか？
• RQ5 明示的なカメラパス推定を回避し、代わりに直接フレーム単位の安定化変換を学習することは可能か？

主な発見

• StabNetはリアルタイム推論で93.3 FPSを達成しており、Adobe Premiere CS6 や MeshFlow といったオフライン安定化手法よりも約30倍速い。
• 視覚的品質においてもオフライン手法と同等の性能を示しており、ユーザー評価では「通常走行」と「走行」のカテゴリでStabNetの結果が好まれた。
• ぼやけたまたは夜間のシーケンスなど、特徴マッチングに失敗する低品質な動画に対しても、従来の手法よりも優れた性能を示した。
• ユーザー評価では、6つの動画カテゴリのうち5つでStabNetがAdobe Premiere CS6 と同等または区別できないと評価された。
• 同期された安定/不安定な動画ペアから構成される、本研究で提案されたDeepStabデータセットは、深層動画安定化のための公開最初の学習データセットである。