[論文レビュー] Deep Motion Blind Video Stabilization

Muhammad Kashif Ali, Sangjoon Yu+1 more|arXiv (Cornell University)|Nov 19, 2020

Image and Video Stabilization被引用数 4

ひとこと要約

本論文は、明示的な動き推定に依存せずに、直接安定化フレームを合成する、最初の動きに盲目的な深層学習ベースの動画安定化手法を提案する。反復的フレーム補間に基づく独創的な教師なしデータセット生成パイプラインを用いることで、視覚的忠実度を向上させつつ、最先端の手法と比較して約3倍の高速化を達成した。歪みとクロップの指標において動きに注意を向けるベースラインを上回り、解像度とコンテンツを保持する。

ABSTRACT

Despite the advances in the field of generative models in computer vision, video stabilization still lacks a pure regressive deep-learning-based formulation. Deep video stabilization is generally formulated with the help of explicit motion estimation modules due to the lack of a dataset containing pairs of videos with similar perspective but different motion. Therefore, the deep learning approaches for this task have difficulties in the pixel-level synthesis of latent stabilized frames, and resort to motion estimation modules for indirect transformations of the unstable frames to stabilized frames, leading to the loss of visual content near the frame boundaries. In this work, we aim to declutter this over-complicated formulation of video stabilization with the help of a novel dataset that contains pairs of training videos with similar perspective but different motion, and verify its effectiveness by successfully learning motion blind full-frame video stabilization through employing strictly conventional generative techniques and further improve the stability through a curriculum-learning inspired adversarial training strategy. Through extensive experimentation, we show the quantitative and qualitative advantages of the proposed approach to the state-of-the-art video stabilization approaches. Moreover, our method achieves $\sim3 imes$ speed-up over the currently available fastest video stabilization methods.

研究の動機と目的

• 類似した視点だが異なる動きを持つペairedトレーニングデータが不足しているため、動画安定化のための純粋な回帰的深層学習定式化が不足しているという問題に取り組む。
• 動き推定モジュールへの依存を排除し、安定化フレームのピクセルレベル直接合成を可能にする。
• 手すりの記録から不安定な動画を等方位の安定動画に変換するスケーラブルで教師なしのデータセット生成パイプラインを開発する。
• カリキュラム学習にインspiredされた敵対的訓練戦略により、時間的整合性と視覚的質を向上させる。
• 適切なデータと訓練設計を用いることで、従来の生成ネットワークを用いて動きに盲目的な安定化が可能で効果的であることを示す。

提案手法

• 不安定な手動撮影動画から高品質で等方位の安定動画を合成するため、反復的フレーム補間を用いたデータセット生成パイプライン（DGP）を提案する。
• オプティカルフローまたはワープモジュールを回避し、不安定な入力から直接安定化フレームを予測する、従来のU-Netベースのジェネレータネットワークを採用する。
• 時間的整合性を高め、出力のジャイタリティを低減するためのコントラスト型動き損失を導入する。
• 段階的に訓練の複雑さを増やすカリキュラム学習戦略を適用し、ネットワークが段階的に安定化を学習できるようにする。
• 時間的敵対的訓練戦略を適用し、安定化動画シーケンスの視覚的リアリズムと時間的整合性を向上させる。
• 生成されたデータセットを活用して、フルフレーム解像度と視覚的コンテンツを保持する動きに盲目的な安定化ネットワークを訓練する。

実験結果

リサーチクエスチョン

• RQ1 明示的な動き推定に依存せず、エンドツーエンドのピクセルレベル合成にのみ依存して、フルフレームの動画安定化を達成できるか？
• RQ2 動きに盲目的な深層学習モデルが、視覚的質と安定性において動きに注意を向ける最先端の手法を上回れるか？
• RQ3 不安定な動画と安定な動画のペアにおいて一貫した視点を持つデータセットが、動画安定化における一般化性とパフォーマンスを向上させられるか？
• RQ4 カリキュラム学習と敵対的訓練は、動きに盲目的な安定化における時間的整合性と視覚的忠実度を向上させられるか？
• RQ5 品質やコンテンツ保持を犠牲にすることなく、動画安定化の高速化を著しく達成できるか？

主な発見

• 提案手法は、現在最も高速な動画安定化手法と比較して約3倍の高速化を達成し、推論効率を顕著に向上させた。
• NUSデータセットにおいて、歪みとクロップの指標で最先端のアプローチを上回った。これは、視覚的コンテンツとフレーム解像度の優れた保持を示している。
• トレーニングデータの動きプロファイルに類似した動画（例：Crowd, Parallax, Quick Rotation）では、安定性指標において競争力のある性能を示したが、他のカテゴリではデータセットバイアスのためわずかに性能が劣った。
• 視覚的比較では、Adobe Premiere 2018 CC、Robust L1、DIFRINT、および繰り返しCAINと比較して、スケールとコンテンツの保持が優れており、アーチファクトが少なく、解像度が高い。
• ユーザースタディおよび補足結果から、提案手法はより視覚的に一貫性があり、自然な見た目の安定化動画を生成することが確認された。
• アブレーションスタディにより、コントラスト型動き損失とカリキュラム学習戦略が、出力の時間的整合性を著しく向上させ、フレッシャーとジャイタリティを低減することが確認された。