[論文レビュー] Prediction Under Uncertainty with Error-Encoding Networks

Mikael Henaff, Junbo Zhao+1 more|arXiv (Cornell University)|Nov 14, 2017

Generative Adversarial Networks and Image Synthesis参考文献 18被引用数 14

ひとこと要約

本稿では、将来状態の予測可能成分と予測不能成分を分離する、マルチモーダル動画予測のための新規フレームワークであるエラー符号化ネットワーク（EEN）を提案する。予測誤差を低次元の潜在空間に符号化することで、敵対的訓練や複雑な最適化を必要とせず、多様で高品質な動画生成が可能となり、不確実性下でのマルチモーダル生成において、一貫してベースラインを上回る性能を発揮する。

ABSTRACT

In this work we introduce a new framework for performing temporal predictions in the presence of uncertainty. It is based on a simple idea of disentangling components of the future state which are predictable from those which are inherently unpredictable, and encoding the unpredictable components into a low-dimensional latent variable which is fed into a forward model. Our method uses a supervised training objective which is fast and easy to train. We evaluate it in the context of video prediction on multiple datasets and show that it is able to consistently generate diverse predictions without the need for alternating minimization over a latent space or adversarial training.

研究の動機と目的

• 時系列におけるマルチモーダル時系列予測の課題に取り組むこと、特に標準的なL1/L2損失では平均化され、多様性に欠ける予測が生じる動画生成の文脈において。
• GANベースのアプローチにおけるモード崩壊を克服すること、敵対的訓練や交互最小化の複雑さと不安定性を回避することで。
• 予測誤差の学習された潜在表現を用いて、決定論的予測と確率的不確実性を分離する、シンプルでエンドツーエンドで学習可能なフレームワークを開発すること。
• 予測不能な成分を符号化した低次元潜在変数に条件付けたことで、多様で高精細な動画生成を可能にすること。
• 連続値時系列に一般化可能で、推論効率が高く、アンラップドまたはバックプロパゲートされた識別器を必要としない、スケーラブルな手法を提供すること。

提案手法

• 将来状態を、現在状態から予測される決定論的成分と、固有の不確実性を表す残差誤差成分に分解する。
• 予測誤差（真値から決定論的予測を引いたもの）を低次元潜在ベクトルにマップする別個のエンコーダーネットワークを学習する。
• 潜在ベクトルを前方モデルへの条件付き入力として用い、将来フレームの洗練されたマルチモーダル予測を生成する。
• 最終予測に対して標準的な教師あり損失（例：L2またはL1）を用いて、エンドツーエンドでモデルを学習し、高速で安定した最適化を可能にする。
• 推論時、複数の潜在ベクトルをサンプリングして多様な予測を生成し、それぞれが将来状態の異なるモードに対応する。
• 潜在変数が入力と真値の微分可能関数であることに着目し、交互ステップを必要としない勾配ベースの最適化が可能になる。

実験結果

リサーチクエスチョン

• RQ1 GAN や複雑な最適化手順に依存せず、シンプルで非敵対的なフレームワークが、多様でマルチモーダルな動画予測を生成できるか。
• RQ2 学習された予測誤差の潜在表現が、将来時系列状態のマルチモーダル性をどれほど効果的に捉えられるか。
• RQ3 提案手法が、多様な動画ドメインにおいて、多様で高品質な予測を生成する点で、標準的な決定論的モデルやGANベースのアプローチを上回るか。
• RQ4 潜在変数のサンプリング数を増やすことで、モデルの性能がどの程度向上するか。これは複数のモードがカバーされているかどうかを示す。
• RQ5 このフレームワークは、動画を超えて、固有の不確実性を有する他の連続値時系列にも一般化可能か。

主な発見

• EENモデルは、Flappy Bird、ロボット操作、シミュレーテッドドライブを含む多様なデータセットで、モード崩壊を示さずに一貫したマルチモーダル動画生成を達成した。
• 定量的評価では、EENの最高PSNRスコアが生成サンプル数に応じて向上しており、データ分布における複数のモードの有効なカバレッジを示している。
• これに対して、GANベースのモデルでは、サンプル数の増加に伴いPSNRに改善が見られず、モード崩壊と潜在変数の限界的利用が確認された。
• モデルの性能は、異なる動画タスクにわたり安定しており、Flappy Birdでは異なるパイプの高さ、ドライブ動画では異なるステアリング効果といった多様な予測を生成した。
• 未学習データから潜在変数を抽出するための前方パス1回で推論が高速に可能であるため、計画やインスティチューションラーニングに適している。
• 標準的な教師あり損失を用いたエンドツーエンド学習が可能であり、敵対的訓練やアンラップド識別器の複雑さと不安定性を回避した。