[論文レビュー] Visual Forecasting by Imitating Dynamics in Natural Sequences

Kuo-Hao Zeng, William Shen+3 more|arXiv (Cornell University)|Aug 19, 2017

Advanced Vision and Imaging参考文献 44被引用数 6

ひとこと要約

本論文は、逆強化学習（IRL）を用いて、深層特徴再パrametrizationと二重定式化により、高次元の状態・行動空間の課題を克服しながら、raw pixelデータから自然な視覚的ダイナミクスを直接模倣する汎用的な視覚予測フレームワークを提案する。本手法は、手動で設計された特徴量やドメイン知識を一切不要とし、低レベル、中レベル、高レベルの抽象化レベルにおいて、未来のフレーム生成、行動予測、視覚的ストーリーフォーキャストの各分野で、既存手法を上回る性能を発揮する。

ABSTRACT

We introduce a general framework for visual forecasting, which directly imitates visual sequences without additional supervision. As a result, our model can be applied at several semantic levels and does not require any domain knowledge or handcrafted features. We achieve this by formulating visual forecasting as an inverse reinforcement learning (IRL) problem, and directly imitate the dynamics in natural sequences from their raw pixel values. The key challenge is the high-dimensional and continuous state-action space that prohibits the application of previous IRL algorithms. We address this computational bottleneck by extending recent progress in model-free imitation with trainable deep feature representations, which (1) bypasses the exhaustive state-action pair visits in dynamic programming by using a dual formulation and (2) avoids explicit state sampling at gradient computation using a deep feature reparametrization. This allows us to apply IRL at scale and directly imitate the dynamics in high-dimensional continuous visual sequences from the raw pixel values. We evaluate our approach at three different level-of-abstraction, from low level pixels to higher level semantics: future frame generation, action anticipation, visual story forecasting. At all levels, our approach outperforms existing methods.

研究の動機と目的

• ドメイン固有の知識や手動特徴量を必要とせず、複数の意味的レベルに応用可能な汎用的視覚予測フレームワークの開発。
• 動画シーケンスにおける高次元連続的視覚状態・行動空間に、従来のIRLを適用する計算的に非現実的な課題に対処すること。
• ピクセルレベルのデータから直接エキスパートに似たダイナミクスを模倣する方策を学習することで、長期的視覚予測を可能にすること。
• 低レベル（ピクセル）、中レベル（運動）、高レベル（意味的）の視覚理解をカバーする多様なタスクにおいて、本フレームワークの有効性を示すこと。

提案手法

• 自然な動画シーケンスをエキスパートのデモンストレーションとみなして、視覚的予測を逆強化学習（IRL）問題として定式化する。
• 動的プログラミングにおける全状態・行動ペアの列挙を回避するため、IRLの二重定式化を導入する。
• 勾配計算中に明示的な状態サンプリングを回避するため、深層特徴再パラメータライゼーションを採用し、raw pixel上でエンドツーエンドの学習を可能にする。
• 方策勾配を用いて方策と深層特徴表現を同時に最適化し、予測に特化した表現を学習する。
• 生成的対抗的模倣学習（GAIL）の原則を応用し、微分可能で学習可能な特徴エンコーダーを用いることで、視覚ドメインにおけるスケーラブルなIRLを実現する。
• ピクセルレベルのフレーム予測から意味的ストーリーフォーキャストまで、抽象化レベルの異なるタスクに同一の統合フレームワークを適用する。

実験結果

リサーチクエスチョン

• RQ1 自然な視覚的ダイナミクスを直接模倣することで、手動特徴量やドメイン固有の知識なしに視覚的予測を達成できるか？
• RQ2 動画シーケンスにおける高次元連続的視覚状態・行動空間に、逆強化学習をどのようにスケーリングできるか？
• RQ3 1つの統合フレームワークが、ピクセルレベルの運動から意味的ストーリー進行まで、複数の抽象化レベルの視覚的ダイナミクスを効果的にモデル化できるか？
• RQ4 raw pixelシーケンスの直接的模倣が、再構成ベースや外観マッチングベースのベースラインと比較して、長期的視覚予測タスクで優れた性能を発揮するか？

主な発見

• VISTデータセットにおける短期的および長期的視覚的ストーリーフォーキャストタスクにおいて、LSTM、深層回帰ネットワーク、最近傍法ベースラインをすべて上回る性能を発揮した。
• 外観類似性が失敗する長期予測タスクでは、本モデルは最近傍法ベースラインと比較して顕著に高い正確性を達成し、意味的ダイナミクスを捉える能力を示した。
• 定性的な結果から、本モデルはストーリー内での意味的に整合性のある次フレームを正しく予測しているのに対し、視覚的外観や再構成損失に依存するベースラインは意味的一般化に失敗していることが明らかになった。
• moving MNISTにおける未来フレーム生成タスクで、最先端の性能を達成し、低レベルのピクセルレベルのダイナミクスを効果的にモデル化していることを示した。
• THUMOS15およびTV Human Interactionsにおける行動予測タスクで、手動特徴量を一切使用せず、運動レベルのダイナミクスを学習することで、既存手法を上回った。
• アブレーションスタディにより、二重定式化と深層特徴再パラメータライゼーションの両方が、高次元視覚シーケンスへのIRLのスケーリングに不可欠であることが確認された。