[論文レビュー] Order Matters: Shuffling Sequence Generation for Video Prediction

Junyan Wang, Bingzhang Hu+2 more|arXiv (Cornell University)|Jul 20, 2019

Human Pose and Action Recognition参考文献 45被引用数 7

ひとこと要約

本論文では、自然なフレーム順序とシャッフルされたフレーム順序の区別を学習するシャッフルディスクライマを訓練することで、長期的な時系列の一貫性を向上させる新しい動画予測モデル、SEE-Netを提案する。敵対的シャッフルを通じて順序を学習させることで、合成および実世界のデータセットにおいて、定量的・定性的な両面で最先端の性能を達成し、長期予測におけるぼやけやコンテンツ劣化を顕著に低減する。

ABSTRACT

Predicting future frames in natural video sequences is a new challenge that is receiving increasing attention in the computer vision community. However, existing models suffer from severe loss of temporal information when the predicted sequence is long. Compared to previous methods focusing on generating more realistic contents, this paper extensively studies the importance of sequential order information for video generation. A novel Shuffling sEquence gEneration network (SEE-Net) is proposed that can learn to discriminate unnatural sequential orders by shuffling the video frames and comparing them to the real video sequence. Systematic experiments on three datasets with both synthetic and real-world videos manifest the effectiveness of shuffling sequence generation for video prediction in our proposed model and demonstrate state-of-the-art performance by both qualitative and quantitative evaluations. The source code is available at https://github.com/andrewjywang/SEENet.

研究の動機と目的

• 長期的な動画予測における時系列情報の劣化、特に運動の一貫性とコンテンツの明瞭性の喪失を解決すること。
• フレームのシャッフルを通じて順序を明示的にモデル化することで、動画生成品質が向上するかどうかを調査すること。
• 光流とオートエンコーダパスウェイを用いてコンテンツと運動の特徴を分離し、より良い時系列モデリングを実現すること。
• 再構成損失を超えて長期的な予測安定性を向上させる訓練目的関数を開発すること。
• シャッフルベースのシーケンス分類が、より正確で現実的な将来のフレーム予測をもたらすかどうかを示すこと。

提案手法

• コンテンツと運動の特徴を分離する2本のブランチを持つオートエンコーダアーキテクチャを採用し、PWCNetから得られる光流を用いて運動表現をガイドする。
• 自然な順序かシャッフルされた順序かを分類するように訓練されるシャッフルディスクライマ（SD）を導入し、モデルが時系列順序を明示的に学習するように強制する。
• 同じ入力フレームが順序に関係なく類似した特徴を出力することを保証するため、一貫性損失を適用する。
• 生成器とディスクライマの敵対的訓練によりリアリスティックさを向上させるとともに、再構成損失によりコンテンツの忠実度を維持する。
• 生成器は、要素ごとの連結によってコンテンツと運動の特徴を統合し、将来のフレームを生成する。
• 訓練プロセスでは、生成器とシャッフルディスクライマの最適化を交互に実行し、SDの損失はハイパーパrameterによって重み付けされる。

実験結果

リサーチクエスチョン

• RQ1 シャッフルによるフレーム順序の明示的学習が、長期的な動画予測性能を向上させることができるか？
• RQ2 シャッフルディスクライマは、モデルが時系列順序情報を抽出・保持するのを効果的に強制できるか？
• RQ3 コンテンツと運動の特徴の分離は、予測の安定性とリアリズムにどのような影響を与えるか？
• RQ4 シャッフルされたシーケンス生成は、長時間予測におけるぼやけやコンテンツ劣化をどの程度低減するか？
• RQ5 SEE-Netは、DrNet や MCNet といった最先端手法と比較して、定量的・定性的にどの程度優れているか？

主な発見

• KTHおよびMSR-300データセットにおいて、SEE-NetはDrNet や MCNet および他のベースライン手法を上回り、PSNR および SSIM 両面で優れた定量的性能を示した。
• KTHデータセットでは、SEE-NetはDrNetを上回るPSNR および SSIM を達成した一方、MCNet が示した重度のコンテンツ歪みは回避した。
• アブレーションスタディの結果、シャッフルディスクライマを削除すると、時間的情報が徐々に消失し、ぼやけが増加することが確認され、その重要性が裏付けられた。
• 定性的な結果から、SEE-Netは長時間にわたるシーケンスにおいても正確な運動トレンドを維持し、顔の特徴やボディーシェイプなどの細部を鮮明に保持していることがわかった。
• モデルは予測ステップ全体にわたりより安定した性能を示し、時間経過に伴い一貫したスコアを維持している。これに対して、MCNet は誤差の蓄積により指標が劣化するのに対し、SEE-Net はその点で優位性を示した。
• 光流と一貫性損失の使用により、コンテンツと運動の特徴の分離がより良好に実現され、未観測シーケンスへの一般化能力が向上した。