[論文レビュー] An Uncertain Future: Forecasting from Static Images using Variational Autoencoders

Jacob Walker, Carl Doersch+2 more|arXiv (Cornell University)|Jun 25, 2016

Anomaly Detection Techniques and Applications参考文献 27被引用数 4

ひとこと要約

本論文では、静的画像から密度的なピクセル軌道を予測する条件付き変分オートエンコーダーを提案する。将来の運動の不確実性は潜在変数によってモデル化される。豊富な動画データを人為的アノテーションなしに学習させることで、複数の妥当な将来の運動を生成し、物体検出などの下流タスクに転送可能な表現を学習する。

ABSTRACT

In a given scene, humans can often easily predict a set of immediate future events that might happen. However, generalized pixel-level anticipation in computer vision systems is difficult because machine learning struggles with the ambiguity inherent in predicting the future. In this paper, we focus on predicting the dense trajectory of pixels in a scene, specifically what will move in the scene, where it will travel, and how it will deform over the course of one second. We propose a conditional variational autoencoder as a solution to this problem. In this framework, direct inference from the image shapes the distribution of possible trajectories, while latent variables encode any necessary information that is not available in the image. We show that our method is able to successfully predict events in a wide variety of scenes and can produce multiple different predictions when the future is ambiguous. Our algorithm is trained on thousands of diverse, realistic videos and requires absolutely no human labeling. In addition to non-semantic action prediction, we find that our method learns a representation that is applicable to semantic vision tasks.

研究の動機と目的

• 静的画像から可能な将来の運動の分布をモデル化することで、ピクセル単位の視覚的予測を可能にすること。
• 画像だけでは特定できない不確実な運動モードを潜在変数で符号化することで、将来の運動予測の曖昧さに対処すること。
• 人為的ラベルが一切不要な自己教師付きフレームワークを構築すること。
• 物体検出のような意味的タスクに転送可能な汎用的視覚表現を学習すること。
• 密度的な軌道予測が、計算的に実行可能でありながら豊富で多様な予測をもたらすことを示すこと。

提案手法

• 条件付き変分オートエンコーダー（CVAE）を用い、画像が将来の軌道の分布を条件づける。
• モデルは、N(0,1)からサンプリングされたノイズ変数を、順伝播型畳み込みネットワークを介して密度的なピクセル軌道へマッピングする。
• 潜在変数が運動の不確実性を符号化し、同じ入力画像から複数の多様な予測を可能にする。
• 人為的アノテーションなしに、数千本の未加工な動画を用いてバックプロパゲーションでエンドツーエンドに学習する。
• 画像エンコーダータワーは入力画像を処理し、潜在空間の分布を条件づける。
• デコーダーネットワークは、潜在変数を時間的なピクセルレベルの運動ベクトルへマッピングすることで、将来の軌道を生成する。

実験結果

リサーチクエスチョン

• RQ1 人為的アノテーションなしに、1枚の静的画像から複数の妥当な将来の運動軌道を深層生成モデルが予測可能か？
• RQ2 条件付きVAEフレームワークにおいて、潜在変数を用いて将来の運動の不確実性を効果的にモデル化できるか？
• RQ3 自己教師付きの運動予測は、物体検出のような意味的ビジョンタスクに役立つ表現をもたらすか？
• RQ4 光センサーや行動分類と比較して、密度的な軌道予測はより優れた一般化性能と多様性をもたらすか？
• RQ5 モデルの内部表現が、限られたラベル付きデータでの下流認識タスクにどの程度転送可能か？

主な発見

• モデルは、人のスクワットやスキーといった曖昧なシーンに対して、複数の多様で現実的な運動軌道を効果的に予測する。
• PASCAL VOC 2012の物体検出ベンチマークにおいて、UCF101の13,000フレームのみを用いて47.3%のmAPを達成し、他の自己教師付き手法を上回る性能を示した。
• 人間検出タスクにおいて[31]を上回ったが、これはトレーニングデータに人間の運動に焦点を当てたことが理由と考えられる。
• 運動予測のために学習した表現は、最小限のラベル付きデータでも意味的タスクにうまく一般化する。
• ピクセルレベルの予測で一般的に見られるぼやけを避けるために、低次元で構造的な空間に軌道をモデル化することで実現した。
• フレームワークにより、可能な将来の全分布からのサンプリングが可能となり、視覚的予測に内在する不確実性を捉えることができる。