[論文レビュー] Probabilistic Future Prediction for Video Scene Understanding

Anthony Hu, Fergal Cotter+3 more|arXiv (Cornell University)|Mar 13, 2020

Human Pose and Action Recognition参考文献 67被引用数 11

ひとこと要約

本論文は、RGB動画からエゴモーション、静的シーン、動的エージェントの運動を同時に確率的予測するための新規な深層学習フレームワークを提案する。条件付き変分オートエンコーダを用いて、一貫性があり多様な未来のサンプリングを可能にするコンactな潜在表現を学習する。Cityscapesデータセット上での実験では、知覚性能が20.0%向上し、ステアリング誤差が33%低減され、将来予測精度とエンドツーエンドのドライブポリシー性能の両面で顕著な向上を達成した。

ABSTRACT

We present a novel deep learning architecture for probabilistic future prediction from video. We predict the future semantics, geometry and motion of complex real-world urban scenes and use this representation to control an autonomous vehicle. This work is the first to jointly predict ego-motion, static scene, and the motion of dynamic agents in a probabilistic manner, which allows sampling consistent, highly probable futures from a compact latent space. Our model learns a representation from RGB video with a spatio-temporal convolutional module. The learned representation can be explicitly decoded to future semantic segmentation, depth, and optical flow, in addition to being an input to a learnt driving policy. To model the stochasticity of the future, we introduce a conditional variational approach which minimises the divergence between the present distribution (what could happen given what we have seen) and the future distribution (what we observe actually happens). During inference, diverse futures are generated by sampling from the present distribution.

研究の動機と目的

• 高い不確実性を伴う複雑な都市部走行シーンにおける確率的でマルチエージェントの相互作用をモデル化する課題に対処すること。
• セマンティックセグメンテーション、深度、オプティカルフローを確率的に同時に予測する統合的深層学習アーキテクチャの開発。
• 動画から学習した未来に配慮した、運動に配慮した表現を活用して自動車の制御を改善すること。
• 潜在空間のサンプリングによる不確実性の明示的モデリングを通じて、多様で現実的な未来シーンの生成を可能にすること。
• 将来予測の監視が、直接的な制御最適化を超えてエンドツーエンドの自律走行ポリシー性能を向上させることを実証すること。

提案手法

• RGB動画から運動に配慮した特徴を抽出するための、階層的空間時間分解を備えた新規な空間時間的畳み込みアーキテクチャを採用する。
• 将来状態の現在分布をモデリングするため、条件付き変分オートエンコーダ（CVAE）を用い、予測された分布と真値の分布との間のKLダイバージェンスを最小化する。
• 現在の観測に基づく分布と真の将来分布を一致させるためのKLダイバージェンス損失を用いてモデルを学習し、推論時に将来のサンプリングを可能にする。
• 潜在表現を明示的にデコードして、複数の時間ステップにおける将来のセマンティックセグメンテーション、深度、オプティカルフローを予測する。
• 学習された時系列表現を微分可能ドライブポリシー・ネットワークの入力として統合し、将来予測の監視を受けるエンドツーエンドの学習を可能にする。
• 現在分布の微分エントロピーを不確実性の指標として用い、高不確実性のシナリオ（例：交差点）を特定する。

実験結果

リサーチクエスチョン

• RQ1 1つの深層学習モデルが、RGB動画からエゴモーション、静的シーン、動的エージェントの運動を確率的に同時に予測できるか？
• RQ2 潜在空間における不確実性のモデリングが、予測された未来シーンの多様性と現実性をどのように向上させるか？
• RQ3 将来予測の監視が、エンドツーエンドの自律走行ポリシー性能をどの程度向上させるか？
• RQ4 予測分布のエントロピーを分析することで、モデルが高不確実性のシナリオ（例：交差点）を自動的に検出できるか？
• RQ5 セグメンテーション、深度、フローの複数モodalの同時予測が、単一モーダルまたは非確率的ベースラインと比較して、より優れた時系列表現をもたらすか？

主な発見

• 提案モデルは、Cityscapesデータセットにおいて、5フレーム先と10フレーム先の将来セマンティックセグメンテーションで最先端の性能を達成し、IoUスコアはそれぞれ0.464と0.416であった。
• 確率的モデルは、静的1フレームベースラインと比較して、知覚精度を20.0%向上させ、ステアリング誤差を33%低減した。
• 現在分布からのサンプリングにより、多様で視覚的に現実的な未来が生成され、異なるノイズベクトルから異なる行動（例：停止 vs. 継続）が明確に現れた。
• 潜在空間における高エントロピー領域は、複数の現実的な未来が存在する複雑なシーン（例：交差点）に対応しており、モデルの不確実性推定が妥当であることを裏付けた。
• 確率的バージョンのモデルは、決定的バージョンと比較して、知覚性能で7.4%向上、速度低減で3.5%向上を達成し、不確実性モデリングの有効性を示した。
• 将来予測の監視により、非将来予測に配慮したベースラインと比較して、ステアリング性能が27%向上、速度制御性能が38%向上した。予測に基づく表現学習が制御ポリシーの一般化を向上させることを示した。