[論文レビュー] Robust Video Synchronization using Unsupervised Deep Learning.

Ido Freeman, Patrick Wieschollek+1 more|arXiv (Cornell University)|Oct 19, 2016

Advanced Vision and Imaging参考文献 21被引用数 2

ひとこと要約

この論文では、人間によるアノテーションやラベルが不要な、頑健で非線形な動画同期のための教師なし深層学習手法を提案する。動画コンテンツ自体から意味のあるトレーニング例を抽出するために、修正されたダイクストラ法に基づく反復的スキームを活用することで、天候、照明、季節の変化といった多様な視覚的条件下でも正確な時間的同期を達成し、数か月の時間差で記録されたクリップの合成を可能にする。

ABSTRACT

Aligning video sequences is a fundamental yet still unsolved component for a wide range of applications in computer graphics and vision. Especially when targeting video clips containing an extensively varying appearance. Using recent advances in deep learning, we present a scalable and robust method for computing optimal non-linear temporal video alignments. The presented algorithm learns to retrieve and match similar video frames from input sequences without any human interaction or additional annotations in an unsupervised fashion. An iterative scheme is presented which leverages on the nature of the videos themselves in order to remove the need for labels. We incorporate a variation of Dijkstra's shortest-path algorithm for extracting meaningful training examples as well as a robust video alignment. While previous methods assume similar settings as weather conditions, season and illumination, our approach is able to robustly align videos regardless of such noise. This provides new ways of compositing non-seasonal video clips from data recorded months apart.

研究の動機と目的

• 天候、照明、季節の変化による顕著な外観の変化がある動画シーケンスの同期を解決すること。
• 動画同期タスクにおいて、人間によるアノテーションやラベルデータの必要性を排除すること。
• 非線形時間的同期のためのスケーラブルで頑健な手法を開発すること。
• 顕著な視覚的差異があるにもかかわらず、数か月の時間差で記録された動画クリップの合成を可能にすること。

提案手法

• 本手法は、監視なし、アノテーションなしで入力動画シーケンス間の類似フレームをマッチングする教師なし学習フレームワークを用いる。
• 動画が持つ内在的な時間的・視覚的構造を活用することで、信頼性の高いトレーニング例を生成する反復的最適化スキームを採用する。
• フレーム対応を動画シーケンスから特定・抽出するために、ダイクストラ法の変種が用いられる。
• 時間的整合性と動画コンテンツ内の視覚的類似性を活用することで、フレームマッチングを動的に改善する。
• 照明の変化、季節、天候の変化といった外観の変動に対して、本手法は頑健であるように設計されている。
• 外部の監視なしに、動画データそのもののみを用いて、深層ネットワークのエンドツーエンド訓練を可能にする。

実験結果

リサーチクエスチョン

• RQ1 複雑な視覚的環境下でも、人間によるアノテーションやラベルデータが不要に動画同期が達成可能か？
• RQ2 深層学習モデルは、顕著な外観変動を示す動画シーケンスから意味のあるフレーム対応をどのように学習できるか？
• RQ3 動画の内在的構造に基づく教師なし手法が、教師ありまたは弱教師ありアプローチをどれだけ上回れるか？
• RQ4 長時間の時間ギャップと多様な視覚的条件下でも、非線形時間的同期を信頼性高く計算可能か？

主な発見

• 本手法は、天候、照明、季節の変化といった顕著な視覚的条件下で、記録された動画クリップ間の正確な同期を達成した。
• 本手法の教師なし性質により、高コストな人間によるアノテーションや外部の監視の必要性が排除された。
• 修正されたダイクストラ法の使用により、動画コンテンツから信頼性の高いトレーニング例の抽出が可能となり、同期品質が向上した。
• 本アルゴリズムは、数か月の時間差で記録された非季節的動画クリップの同期において、スケーラビリティと頑健性を示した。
• 従来の手法が類似した環境条件を仮定しているのに対し、本手法は外観変動の処理において優れた性能を発揮した。
• 動画の自己整合性に基づく反復的スキームにより、挑戦的な視覚的状況下でもフレームマッチングの信頼性が著しく向上した。