[論文レビュー] Predicting Scene Parsing and Motion Dynamics in the Future

Xiaojie Jin, Huaxin Xiao+7 more|arXiv (Cornell University)|Nov 9, 2017

Human Pose and Action Recognition参考文献 3被引用数 49

ひとこと要約

本論文では、未来のシーン解析とオプティカルフローを同時に予測する新しいエンドツーエンドのディーブラーニングモデルを提案する。二つのタスクの相互監視を活用することで、精度が向上する。動きの予測を用いて解析の詳細を精緻化し、解析結果を用いてカテゴリ特異的な動き推定をガイドすることで、Cityscapesデータセット上で最先端の性能を達成した。10ステップ先の予測において、エンドポイント誤差（EPE）を1.79削減し、mIoUを3.1%向上させた。

ABSTRACT

The ability of predicting the future is important for intelligent systems, e.g. autonomous vehicles and robots to plan early and make decisions accordingly. Future scene parsing and optical flow estimation are two key tasks that help agents better understand their environments as the former provides dense semantic information, i.e. what objects will be present and where they will appear, while the latter provides dense motion information, i.e. how the objects will move. In this paper, we propose a novel model to simultaneously predict scene parsing and optical flow in unobserved future video frames. To our best knowledge, this is the first attempt in jointly predicting scene parsing and motion dynamics. In particular, scene parsing enables structured motion prediction by decomposing optical flow into different groups while optical flow estimation brings reliable pixel-wise correspondence to scene parsing. By exploiting this mutually beneficial relationship, our model shows significantly better parsing and motion prediction results when compared to well-established baselines and individual prediction models on the large-scale Cityscapes dataset. In addition, we also demonstrate that our model can be used to predict the steering angle of the vehicles, which further verifies the ability of our model to learn latent representations of scene dynamics.

研究の動機と目的

• 将来のシーン理解における統合的モデリングの欠如に取り組むこと。特に、意味的認識と動き認識の両方が必要な自律走行システムの要件に応えるためである。
• 相補的な関係を活用することで、将来のシーン解析とオプティカルフロー予測の精度を向上させること。
• 反復的精緻化を用いて、10ステップ先までの長期的未来予測を安定的かつ詳細に実現すること。
• 実用的価値を実証するため、モデルを用いて車両のステアリング角度を予測し、実世界のナビゲーションタスクにおける価値を示すこと。

提案手法

• 本モデルは、フローレイアリングネットワークとパーサー予測ネットワークの二重ブランチアーキテクチャを採用し、共有された特徴抽出を経てエンドツーエンドで学習する。
• オプティカルフロー予測を活用して、識別的かつ時間的に一貫性のある特徴を用いて、パーサーの詳細を向上させる。
• シーンパーサーの結果を用いて、オプティカルフローをカテゴリ特異的な動きグループに分解することで、動き推定の精度を向上させる。
• マルチステップ予測中に再帰的ファインチューニングを採用し、重みを反復的に更新することで、長期的ダイナミクスを捉える。
• フローフィーチャーの上に全結合層を追加し、ステアリング角度を回帰することで、下流の応用評価を可能にする。
• フレームワークはバックボーンに依存せず、CityscapesおよびComma.aiデータセットを用いたエンドツーエンド学習をサポートする。

実験結果

リサーチクエスチョン

• RQ1 将来のシーンパーサーとオプティカルフローの共同予測は、それぞれのタスクを独立して予測するよりも優れた性能を達成できるか？
• RQ2 パーサーとフロー予測の相互監視は、将来の動画予測における精度と一般化性能をどのように向上させるか？
• RQ3 本モデルは、10ステップ程度の長期的未来予測において、精度と詳細をどの程度維持できるか？
• RQ4 予測されたパーサーとフローフィーチャーは、ステアリング角度予測のような下流のナビゲーションタスクに効果的に利用できるか？
• RQ5 再帰的ファインチューニングは、モデルの長期的動画ダイナミクスをモデル化する能力を向上させるか？

主な発見

• 本モデルは、10ステップ先の予測において、強力なベースラインと比較してmIoUを3.1%向上させ、エンドポイント誤差（EPE）を1.79削減した。
• ステアリング角度予測における平均二乗誤差（MSE）は2.96度²であり、Comma.aiベースライン（約4度²）を上回った。
• 再帰的ファインチューニングにより、mIoUが1.3%向上し、EPEが0.32低下した。これは、長期的ダイナミクスをモデル化する有効性を裏付けた。
• 単一ステップおよびマルチステップ予測の両方において、独立したパーサーやフローモデル、ワーピングベースラインと比較して、本モデルは顕著に優れた性能を示した。
• 定性的な結果から、本モデルは、既存の手法と比較して、より詳細で時間的に一貫性のあるパーサーとフロー予測を生成することがわかった。
• 共同学習フレームワークにより、一般化性能が向上し、より豊富なシーン表現が可能になったことが、定量的指標と下流応用の両方で確認された。