[論文レビュー] Photo-Realistic Video Prediction on Natural Videos of Largely Changing Frames

Osamu Shouno|arXiv (Cornell University)|Mar 19, 2020

Advanced Image Processing Techniques参考文献 35被引用数 24

ひとこと要約

本稿では、特に大規模なカメラの動き下でも写真のようにリアルな未来のフレームを生成するために、敵対的損失および知覚的損失を組み合わせた階層的残差動画予測ネットワークを提案する。トップダウン接続を通じてマルチスケール予測を統合し、VGGおよびMAE損失で最適化することで、自然なドライブ動画における1フレーム先および複数ステップ予測において、知覚的品質（LPIPS）およびシャープネスの面で最先端の性能を達成した。

ABSTRACT

Recent advances in deep learning have significantly improved performance of video prediction. However, state-of-the-art methods still suffer from blurriness and distortions in their future predictions, especially when there are large motions between frames. To address these issues, we propose a deep residual network with the hierarchical architecture where each layer makes a prediction of future state at different spatial resolution, and these predictions of different layers are merged via top-down connections to generate future frames. We trained our model with adversarial and perceptual loss functions, and evaluated it on a natural video dataset captured by car-mounted cameras. Our model quantitatively outperforms state-of-the-art baselines in future frame prediction on video sequences of both largely and slightly changing frames. Furthermore, our model generates future frames with finer details and textures that are perceptually more realistic than the baselines, especially under fast camera motions.

研究の動機と目的

• 教師なし動画予測において、大規模なカメラの動き下でぼやけたり歪んだりする問題に継続的に対処すること。
• 敵対的損失と知覚的損失関数を組み合わせることで、未来フレーム生成における知覚的リアリズムを向上させること。
• 複数の解像度で空間時間的ダイナミクスをモデル化できる階層的残差ネットワークアーキテクチャを設計すること。
• 高周波成分のモデリングを強化することで、再帰的複数ステップ予測における誤差蓄積を低減すること。
• 特にVGGおよびMAE損失の組み合わせが動画予測品質に与える効果を調査すること。

提案手法

• 各層が異なる空間解像度で未来フレームを予測する階層的アーキテクチャを備えた深層残差ネットワークを提案。
• トップダウンスキップ接続を用いてスケール間の予測を統合し、高解像度特徴の精錬を可能にする。
• 敵対的損失を用いて生成器をエンドツーエンドで訓練し、リアリズムを向上させるGANフレームワークを採用。
• 事前学習済みVGGネットワークの特徴に基づく知覚的損失を組み込み、テクスチャや詳細を保持する。
• ピクセルレベルの正確さと知覚的品質の両立を図るため、MAE損失をVGGおよび敵対的損失と組み合わせる。
• 異なる解像度で生成品質を向上させるために、GAN設定にマルチスケールディスクライマを採用。

実験結果

リサーチクエスチョン

• RQ1 大規模なカメラの動き下で、階層的残差ネットワークアーキテクチャが動画予測品質を向上させられるか？
• RQ2 敵対的損失と知覚的損失は、動画予測におけるぼやけやテクスチャ詳細の劣化をどれほど効果的に低減できるか？
• RQ3 VGGとMAE損失を組み合わせることで、単独で使用する場合よりも優れた知覚的品質が得られるか？
• RQ4 ベースラインと比較して、再帰的複数ステップ予測におけるモデルの性能はいかがなものか？
• RQ5 写真のようにリアルなフレームを生成する上で、敵対的損失と知覚的損失の相対的な寄与度はどの程度か？

主な発見

• G-VGGモデルは、LPIPSスコアにおいてCaltech Pedestrianデータセットで新たな最先端性能を達成し、GAN-VGGをわずかに上回った。
• GAN-VGGおよびG-VGGは、特に高速なカメラの動き下で、ベースラインと比較してぼやけを著しく低減し、テクスチャの詳細を向上させた。
• VGGとMAE損失の組み合わせ（GAN-VGG、G-VGG）が、低いLPIPSスコアとよりシャープな視覚的結果から確認されるように、最良の知覚的品質をもたらした。
• 敵対的損失は、長時間にわたるシーケンスで歪みを低減する点で、複数ステップ予測性能をさらに向上させた。
• VGG損失を含まないモデル（例：GAN-MAE、G-MAE）は、SSIMは同等であったが、ぼやけた結果を生成したため、VGG損失が知覚的リアリズムにとって不可欠であることが示された。
• 複数ステップ予測において、9フレーム先の予測でGAN-VGGがG-VGGを上回った。これは、敵対的訓練が長時間予測の安定化に寄与することを示している。