[論文レビュー] Video Prediction via Example Guidance

Jingwei Xu, Harry+3 more|arXiv (Cornell University)|Jul 3, 2020

Generative Adversarial Networks and Image Synthesis被引用数 9

ひとこと要約

本論文では、類似するトレーニングシーケンスを検索して明示的な分布ターゲットを構築することで、マルチモーダルな動画予測を向上させる、例示によるガイド付き動画予測（VPEG）を提案する。変分推論を例示ガイド付き最適化に置き換えることで、ラベルなしデータを用いた推論でも、より高い精度と多様性を実現し、未学習の動きクラスへの一般化性能も向上する。

ABSTRACT

In video prediction tasks, one major challenge is to capture the multi-modal nature of future contents and dynamics. In this work, we propose a simple yet effective framework that can efficiently predict plausible future states. The key insight is that the potential distribution of a sequence could be approximated with analogous ones in a repertoire of training pool, namely, expert examples. By further incorporating a novel optimization scheme into the training procedure, plausible predictions can be sampled efficiently from distribution constructed from the retrieved examples. Meanwhile, our method could be seamlessly integrated with existing stochastic predictive models; significant enhancement is observed with comprehensive experiments in both quantitative and qualitative aspects. We also demonstrate the generalization ability to predict the motion of unseen class, i.e., without access to corresponding data during training phase.

研究の動機と目的

• 従来のガウス事前分布を用いた変分推論が多様な動きパターンを捉えきれないため、動画予測におけるマルチモーダルな将来ダイナミクスをモデル化する課題に対処すること。
• 検索されたトレーニング例から得られる明示的な分布ターゲットを用いることで、暗黙の潜在変数最適化に代えて、サンプリング効率と予測品質を向上させること。
• 特定のカテゴリを記憶するのではなく、例に基づくガイドランスを活用することで、トレーニング時に見られなかった動きクラスに対しても一般化を可能にすること。
• 既存の確率的予測モデルと互換性のあるプラグイン型ソリューションを提供し、アーキテクチャの大幅な見直しを伴わずに性能を向上させること。

提案手法

• 入力に対して、学習された埋め込み空間を用いて最も類似したK個のトレーニングシーケンスを検索し、エキスパート例のレパートアを構築する。
• 検索された例から明示的なマルチモーダル分布ターゲットを構築し、変分推論における暗黙の事前分布を置き換える。
• 新規な最適化手法により、予測を確率的プロセスとして定式化し、例に基づくターゲットを用いて将来フレームの分布を直接モデル化する。
• 生成フレームの視覚的品質と現実性を向上させるために、敵対的訓練を組み込む。
• モジュラーなフレームワークであり、SVG や SV2P などの既存の確率的動画予測モデルとシームレスに統合可能である。
• パrametricな事前分布に依存するのではなく、データ駆動の例を用いて分布モデリングをガイドする。

実験結果

リサーチクエスチョン

• RQ1 標準的な変分推論と比較して、例に基づくガイドランスは、動画予測におけるマルチモーダルな将来ダイナミクスのモデリングを改善できるか？
• RQ2 類似したトレーニングシーケンスを検索することで、特に複雑なまたは未学習の動きパターンにおいて、予測の正確性と多様性が向上するか？
• RQ3 提案手法は、トレーニング時に見られなかった動きクラスのシーケンスを予測できるか？
• RQ4 検索された例の数（K）が、予測性能および分布モデリングの質にどのように影響するか？
• RQ5 既存の確率的動画予測モデルと効果的に統合可能で、性能を向上させることができるか？

主な発見

• 提案されたVPEG手法は、MovingMNIST、RobotPush、PennActionの各データセットにおいて、ベースラインモデルと比較して顕著に動画予測の品質を向上させ、PSNRおよびSSIMスコアが向上した。
• K=5の場合、RobotPushでのPSNRおよびSSIMが最適な性能に達しており、5つの検索例が多様性のモデリングとノイズ低減の両立において最良のバランスを提供していることを示している。
• 類似した例ではなく、ランダムに選択された例を用いることで、不自然な動きやアーティファクト（例：二重像効果）が生じ、検索品質の重要性が明確になった。
• トレーニング時にそのようなデータが存在しなかったにもかかわらず、PennActionにおけるbaseball_pitchなどの未学習の動きクラスを効果的に一般化し、視覚的に妥当なシーケンスを生成した。
• 可視化結果から、予測が単なる例のコピーではなく、例の分布にガイドされた多様で妥当な動きパターンを示していることがわかった。
• Kimら（2019）の最先端手法と比較して、一般化性能が優れており、未学習の行動に対してもより正確で現実的な予測を生成した。