[論文レビュー] Long-Term Video Interpolation with Bidirectional Predictive Network

Xiongtao Chen, Wenmin Wang+3 more|arXiv (Cornell University)|Jun 13, 2017

Advanced Image Processing Techniques被引用数 4

ひとこと要約

本論文では、非連続な動画フレームの間に複数の補間フレームを生成するための双方向予測ネットワーク（BiPN）を提案する。このモデルは、開始フレームからの前方予測と終了フレームからの後方予測を実行する。モデルは画像、特徴量、敵対的損失を組み合わせた共同損失関数を用い、ノイズベクトルの入力を通じてマルチモーダル生成へ拡張可能であり、マルチスケールバージョンではMoving 2D ShapesおよびUCF101でそれぞれPSNR 31.4、SSIM 0.94の優れた結果を達成した。

ABSTRACT

This paper considers the challenging task of long-term video interpolation. Unlike most existing methods that only generate few intermediate frames between existing adjacent ones, we attempt to speculate or imagine the procedure of an episode and further generate multiple frames between two non-consecutive frames in videos. In this paper, we present a novel deep architecture called bidirectional predictive network (BiPN) that predicts intermediate frames from two opposite directions. The bidirectional architecture allows the model to learn scene transformation with time as well as generate longer video sequences. Besides, our model can be extended to predict multiple possible procedures by sampling different noise vectors. A joint loss composed of clues in image and feature spaces and adversarial loss is designed to train our model. We demonstrate the advantages of BiPN on two benchmarks Moving 2D Shapes and UCF101 and report competitive results to recent approaches.

研究の動機と目的

• 非連続な入力フレームの間に複数の中間フレームを生成する必要がある長期動画補間の課題に対処すること。
• 人間の出来事進行の想像に類似した、現実的で多様な中間フレームシーケンスを予測できるモデルの実現。
• 開始フレームと終了フレームの両方からの双方向時系列モデリングを活用することで、長期予測のロバスト性を向上させること。
• 画像、特徴量、敵対的監視を統合した共同損失により、視覚的品質と現実性を向上させること。
• 確率的ノイズ入力を用いて、複数の現実的で多様な運動経路を生成できるようにモデルを拡張すること。

提案手法

• BiPNは、開始フレームと終了フレームをそれぞれ処理する独立した前方および逆方向エンコーダを備えた双方向エンコーダ・デコーダアーキテクチャを採用する。
• 両エンコーダから得られる潜在的特徴量が統合され、共有デコーダに供給され、複数の中間フレームが生成される。
• 異なる空間解像度で小さな動きと大きな動きの両方を捉えるために、マルチスケール版のBiPNが導入された。
• 異なるノイズベクトルをエンコーダの特徴マップに挿入することで、複数の現実的で多様な中間フレームシーケンスの確率的生成が可能になる。
• ピxls空間におけるL1損失、特徴空間における知覚的損失、現実性向上のための敵対的損失を組み合わせた共同損失関数を用いてモデルを学習する。
• すべての入力フレームは学習時に64×64にリサイズされ、推論は元の解像度で実行される。

実験結果

リサーチクエスチョン

• RQ1 深層双方向ネットワークは、非連続な動画フレームの間に複数の中間フレームを効果的に生成できるか？
• RQ2 開始フレームと終了フレームの両方からの双方向モデリングは、単方向アプローチと比較して長期動画補間の品質を向上させられるか？
• RQ3 ノイズベクトルの統合により、人間の想像に類似した多様で現実的な運動経路を生成できるか？
• RQ4 画像、特徴量、敵対的損失を統合することで、より高い知覚的品質とシャープな予測が達成できるか？
• RQ5 マルチスケールモデリングは、自然動画における大規模で複雑な動きを処理する能力をどのように向上させるか？

主な発見

• マルチスケールBiPNはUCF101データセットでPSNR 31.4、SSIM 0.94を達成し、EpicFlow（PSNR 30.2、SSIM 0.93）およびDVF（PSNR 30.9、SSIM 0.94）を上回った。
• Moving 2D Shapesデータセットでは、BiPNが14個の中間フレームを正しく生成し、軌道精度と外観保持の両面で真値に近づいた。
• 異なるノイズベクトルを用いたサンプリングにより、一貫性があり現実的な運動シーケンスが得られ、マルチモーダル生成の能力が裏付けられた。
• マルチスケールBiPNは、単一スケールバージョンと比較して生成器損失が低く、SharpDiff（シャープネス指標）が高かったため、訓練の安定性と出力品質の向上が示された。
• UCF101における視覚的結果では、ウェイトリフティングやバイオリン演奏といった複雑な動作に対しても、最大8フレームの補間がなされ、滑らかで整合性のある動きの合成が実現された。
• モデルは長距離時系列ダイナミクスを的確に捉え、補間フレーム間でも物体の同一性と外観を維持した。