[論文レビュー] FitVid: Overfitting in Pixel-Level Video Prediction

Mohammad Babaeizadeh, Mohammad Saffar+4 more|arXiv (Cornell University)|Jun 24, 2021

Advanced Image Processing Techniques参考文献 110被引用数 29

ひとこと要約

FitVid は、畳み込み変分動画予測モデルが標準ベンチマークで過学習し得ることを、従来モデルと同程度のパラメータ数で示し、データ拡張が過学習を緩和しつつ、複数のデータセットと指標で最先端の結果を達成することを示す。

ABSTRACT

An agent that is capable of predicting what happens next can perform a variety of tasks through planning with no additional training. Furthermore, such an agent can internally represent the complex dynamics of the real-world and therefore can acquire a representation useful for a variety of visual perception tasks. This makes predicting the future frames of a video, conditioned on the observed past and potentially future actions, an interesting task which remains exceptionally challenging despite many recent advances. Existing video prediction models have shown promising results on simple narrow benchmarks but they generate low quality predictions on real-life datasets with more complicated dynamics or broader domain. There is a growing body of evidence that underfitting on the training data is one of the primary causes for the low quality predictions. In this paper, we argue that the inefficient use of parameters in the current video models is the main reason for underfitting. Therefore, we introduce a new architecture, named FitVid, which is capable of severe overfitting on the common benchmarks while having similar parameter count as the current state-of-the-art models. We analyze the consequences of overfitting, illustrating how it can produce unexpected outcomes such as generating high quality output by repeating the training data, and how it can be mitigated using existing image augmentation techniques. As a result, FitVid outperforms the current state-of-the-art models across four different video prediction benchmarks on four different metrics.

研究の動機と目的

• ピクセルレベルの動画予測におけるパラメータ効率の向上の必要性を動機づけ、現行モデルのアンダーフィットに対処する。
• FitVid を、最先端モデルと同程度のパラメータ数で大幅な過学習が起きうるアーキテクチャとして紹介する。
• 過学習を防ぎ一般化を促進するデータ拡張の役割を調査する。
• 拡張によって複数の実世界の動画予測ベンチマークで最先端の性能を達成できることを示す。

提案手法

• 確率的動画予測のための固定ガウス事前分布を備えた非階層的な畳み込み変分モデルを提案する。
• Residualブロック、バッチ正規化、Swish活性化、Squeeze-and-Excite モジュールを用いたエンコーダ-デコーダアーキテクチャを採用する。
• 2層のLSTM でフレーム遷移を予測するダイナミクスをモデル化し、潜在変数の別個のLSTMベースのエンコーダを用いて、アマルタイズ推論によるガウス事後分布を得る。
• カリキュラム学習や学習済み事前分布なしで証拠下界(EVB) を最大化することによって訓練し、Adamオプティマイザを用いる。
• RandAugment と RandCrop のデータ拡張を適用して過学習を緩和し、一般化を改善する。

実験結果

リサーチクエスチョン

• RQ1 パラメータ効率の高い動画予測モデルは、大規模なアーキテクチャや複雑な訓練スケジュールに頼らず、現実世界データセット上で高品質な未来フレーム予測を達成できるか？
• RQ2 強力なデータ拡張を導入することで、既存ベンチマークの過学習傾向を明らかにし、一般化を改善できるか？
• RQ3 訓練時の精度と保持データの動画品質のギャップを、拡張が多様なデータセット間でどの程度埋められるか？

主な発見

データセット	GHVAE FVD	GHVAE PSNR	GHVAE SSIM	GHVAE LPIPS	SVG FVD	SVG PSNR	SVG SSIM	SVG LPIPS	FitVid FVD	FitVid PSNR	FitVid SSIM	FitVid LPIPS
RobNet	95.2	24.7	89.1	0.036	123.2	23.9	87.8	0.060	62.5	28.2	89.3	0.024
KITTI	552.9	15.8	51.2	0.286	1217.3	15.0	41.9	0.327	884.5	17.1	49.1	0.217
Human3.6M	355.2	26.7	94.6	0.018	-	-	-	-	154.7	36.2	97.9	0.012

• FitVid は4つの難易度の高い動画予測ベンチマークで4指標にわたり最先端の結果を達成。
• 拡張なしでは、FitVid は Human3.6M および KITTI で明らかな過学習を示し、より大きなパラメータ数の RoboNet でもそうだった。
• RandAugment と RandCrop は過学習を効果的に緩和し、保持データへの一般化を向上させる。
• SVG および GHVAE と比較して、拡張を用いた FitVid は RoboNet および Human3.6M で優位に、KITTI では GH VAE に近いかそれを上回る。
• BAIR では FitVid はほとんどの先行の非変分法を上回り、パラメータ数を考慮すると Video Transformer と競合する。