[論文レビュー] Optimizing Video Prediction via Video Frame Interpolation

Yue Wu, Qiang Wen+1 more|arXiv (Cornell University)|Jun 27, 2022

Advanced Image Processing Techniques被引用数 5

ひとこと要約

本論文は、外部のトレーニングや追加のアノテーションを必要とせず、事前学習された微分可能ビデオフレーム補間（VFI）モデルを活用して将来のフレームを予測する、新しい最適化ベースの動画予測フレームワークを提案する。VFIを微分可能制約として用いることで、光流の上での最適化問題として動画予測を定式化することにより、Cityscapes、KITTI、DAVIS、Vimeo90Kなど多様なデータセットで最先端の性能を達成した。学習ベースの手法と比較して、大規模なトレーニングデータやセマンティックPRIORを必要としない点で優れている。

ABSTRACT

Video prediction is an extrapolation task that predicts future frames given past frames, and video frame interpolation is an interpolation task that estimates intermediate frames between two frames. We have witnessed the tremendous advancement of video frame interpolation, but the general video prediction in the wild is still an open question. Inspired by the photo-realistic results of video frame interpolation, we present a new optimization framework for video prediction via video frame interpolation, in which we solve an extrapolation problem based on an interpolation model. Our video prediction framework is based on optimization with a pretrained differentiable video frame interpolation module without the need for a training dataset, and thus there is no domain gap issue between training and test data. Also, our approach does not need any additional information such as semantic or instance maps, which makes our framework applicable to any video. Extensive experiments on the Cityscapes, KITTI, DAVIS, Middlebury, and Vimeo90K datasets show that our video prediction results are robust in general scenarios, and our approach outperforms other video prediction methods that require a large amount of training data or extra semantic information.

研究の動機と目的

• 大規模なトレーニングデータやシーン固有の仮定に依存する従来の動画予測手法のドメインギャップと一般化の限界を解消すること。
• 外部トレーニングを必要とせず、トレーニングデータとテストデータの間のドメインシフト問題を回避する動画予測フレームワークを開発すること。
• セマンティックマップ、インスタンスマップ、深度マップを一切必要とせず、ドライビング、人間の動き、アニメーション、自然なシーンなど、あらゆるシナリオでの動画予測を可能にすること。
• RGB入力フレームと微分可能VFIモジュールのみを用いて、高品質で写真同等の動画予測を実現すること。
• アーキテクチャ的・分布的制約なしに、多様な動画データセットに対して堅牢で一般化性の高い性能を示すことを実証すること。

提案手法

• 本手法は、事前学習済みの微分可能VFIモデル（RIFE）を微分可能制約として用いることで、光流の上での最適化問題として動画予測を定式化する。
• 画像レベルの再構成損失（$\mathcal{L}_{img}$）と、予測された光流とVFIによって生成された光流の整合性損失（$\mathcal{L}_{cons}$）を最小化するように光流を最適化する。
• 最適化プロセスは、直前のフレームの光流（$f_{t\rightarrow t-1}$）から初期化されるが、これにより収束性と性能が向上する。
• 光流補間モジュールにより、無効または疎な光流値が補正され、物体の境界部や運動領域での予測品質が向上する。
• 本フレームワークはRGBフレームのみを入力とし、セマンティックマップや深度マップなどの追加の監視信号を一切必要としない。
• 本手法はエンドツーエンド微分可能であり、VFIネットワークを介してバックプロパゲーションにより将来のフレーム予測を勾配ベースで最適化可能である。

Figure 2 : Overview of our method. We optimize optical flow $\tilde{f}_{t+1\rightarrow t}$ by a video frame interpolation $G$ [ 11 ] . Our optimization objective is image-level distance $\mathcal{L}_{img}$ and a consistency constraint between our predicted flow $\tilde{f}_{t+1\rightarrow t}$ and the

実験結果

リサーチクエスチョン

• RQ1 事前学習済みVFIモデルを用いて、追加のトレーニングデータやアノテーションなしに、動画予測を最適化問題として効果的に再定式化できるか？
• RQ2 大規模データセットと補助監視に依存する最先端の学習ベース手法と比較して、最適化ベースの動画予測手法の性能はどの程度高いか？
• RQ3 VFIモデルが、動画予測における一般化性を向上させ、ドメインシフトを低減する強力なインダクティブバイアスとして機能する程度はどの程度か？
• RQ4 画像レベル損失、整合性損失、長期的制約といった異なる損失成分が、予測品質および最適化の安定性に与える影響は何か？
• RQ5 初期化法と光流補間の選択が、収束性および予測フレームの視覚的忠実度に与える影響は何か？

主な発見

• 本手法は、Cityscapes、KITTI、DAVIS、Middlebury、Vimeo90Kなど複数のベンチマークデータセットで最先端の性能を達成し、大規模なトレーニングデータやセマンティックアノテーションを必要とする手法を上回った。
• Cityscapesデータセットでは、RIFEをVFIバックボーンとして用いた場合、次のフレーム予測でMS-SSIMが0.9454に達し、ベースライン手法を著しく上回った。
• 本手法は、人間の動きや動的なシーンのような複雑な運動状況においても、髪の毛や物体の境界などの詳細が明確に保たれた高精細な予測を生成した。
• アブレーションスタディの結果、$\mathcal{L}_{img}$ と $\mathcal{L}_{cons}$ の組み合わせが最良の結果をもたらし、$\mathcal{L}_{img}$ が $\mathcal{L}_{interp}$ よりも強い監視を提供することが確認された。
• 最適化は最初の400イテレーションで急速に収束し、以降も徐々に改善が続くため、安定的かつ段階的な最適化が可能であることが示された。
• YouTubeの実世界動画やBAIR Pushing、Penn Actionなどの多様なデータセットに対しても、微調整なしに良好な一般化性能を示し、ドメインをまたがる堅牢性を実証した。

Figure 3 : Multi-frame prediction comparison on KITTI. As the pink boxes show, DVF [ 20 ] fails to separate the motion of the blue car from the background and produces a “zooming-in” effect, which is the major motion exhibited in the dataset, caused by the forward movement of the running car. FVS [