[論文レビュー] Multimodal Interaction-aware Motion Prediction for Autonomous Street Crossing

Noha Radwan, Wolfram Burgard+1 more|arXiv (Cornell University)|Aug 21, 2018

Autonomous Vehicle Technology and Safety被引用数 7

ひとこと要約

本論文は、信号機認識と相互作用に配慮した運動予測を統合するマルチモーダルでエンドツーエンドのディープラーニングフレームワークを提案し、自律的横断のための交差点の安全性を予測する。トラジェクトリ予測には拡張因果畳み込みを、AtteNetにはスイープ・エクスカーションブロックを用いることで、特徴選択の強化を実現し、運動予測および横断安全性予測において最先端の性能を達成。実世界のロボットプラットフォームでも検証された。

ABSTRACT

For mobile robots navigating on sidewalks, it is essential to be able to safely cross street intersections. Most existing approaches rely on the recognition of the traffic light signal to make an informed crossing decision. Although these approaches have been crucial enablers for urban navigation, the capabilities of robots employing such approaches are still limited to navigating only on streets containing signalized intersections. In this paper, we address this challenge and propose a multimodal convolutional neural network framework to predict the safety of a street intersection for crossing. Our architecture consists of two subnetworks; an interaction-aware trajectory estimation stream IA-TCNN, that predicts the future states of all observed traffic participants in the scene, and a traffic light recognition stream AtteNet. Our IA-TCNN utilizes dilated causal convolutions to model the behavior of the observable dynamic agents in the scene without explicitly assigning priorities to the interactions among them. While AtteNet utilizes Squeeze-Excitation blocks to learn a content-aware mechanism for selecting the relevant features from the data, thereby improving the noise robustness. Learned representations from the traffic light recognition stream are fused with the estimated trajectories from the motion prediction stream to learn the crossing decision. Furthermore, we extend our previously introduced Freiburg Street Crossing dataset with sequences captured at different types of intersections, demonstrating complex interactions among the traffic participants. Extensive experimental evaluations on public benchmark datasets and our proposed dataset demonstrate that our network achieves state-of-the-art performance for each of the subtasks, as well as for the crossing safety prediction.

研究の動機と目的

• 信号機制御に依存しない多様な交差点を安全に横断できる自律ロボットの実現を目的とする。
• 横断意思決定に信号機の信号のみに依存するという限界を克服することを目的とする。
• 歩行者、車両、信号機の間の複雑で動的な相互作用を、スケーラブルかつエンドツーエンドの方法でモデル化することを目的とする。
• 運動と信号機ストリームからの不確実性を統合することで、センサのノイズや誤予測に対する耐障害性を向上させることを目的とする。
• フライブルク・ストリート・クロッシングデータセットに、多様な交差点タイプと環境条件を追加することを目的とする。

提案手法

• フレームワークは二重ストリームアーキテクチャを採用：動的エージェントの将来のトラジェクトリをモデル化するための、拡張因果畳み込みに基づく相互作用に配慮したトラジェクトリ推定ストリーム（IA-TCNN）。
• 信号機認識ストリーム（AtteNet）は、コンテンツに配慮した特徴選択を高めるためにスイープ・エクスカーションブロックを採用し、ノイズに強い性能を実現。
• 両ストリームの特徴マップを統合し、エンドツーエンドで横断安全性予測の最終分類器を学習。
• 両サブネットワークからの不確実性推定値を統合することで、個々のサブネットワークの誤りに対する耐障害性を向上。
• モデルは公開ベンチマークおよび、交差点タイプと環境条件が多様化された拡張版フライブルク・ストリート・クロッシングデータセット上で学習・評価。
• 移動型ロボット上での実世界デプロイにより、システムのリアルタイム性能と多様な環境への一般化能力を検証。

実験結果

リサーチクエスチョン

• RQ1 マルチモーダルディープラーニングフレームワークは、信号機の信号に依存するのみでない状況において、自律的街中横断の安全性予測を向上させることができるか？
• RQ2 明示的な相互作用優先順位付けなしに、因果畳み込みネットワークが複雑なマルチエージェント相互作用をどれほど効果的にモデル化できるか？
• RQ3 運動予測と信号機認識からの不確実性を統合することで、ノイズや誤った入力に対する耐障害性がどの程度向上するか？
• RQ4 提案されたシステムは、信号機付き、横断歩道、未マークの交差点を含む多様な交差点タイプに一般化できるか？
• RQ5 注目メカニズムに基づく特徴選択（スイープ・エクスカーション）を統合することで、照明や天候の変化に伴う信号機認識の精度がどの程度向上するか？

主な発見

• 提案フレームワークは、複数のベンチマークデータセットにおいて、運動予測および横断安全性予測の両タスクで最先端の性能を達成した。
• AtteNetは、グローバルな文脈とノイズに強い特徴選択を活用することで、既存手法を上回る性能を示した。
• IA-TCNNモデルは、拡張因果畳み込みによる相互作用ダイナミクスのモデル化により、自転車がロボットの後方を通過するといった複雑な行動を含む、動的エージェントのトラジェクトリを正確に予測した。
• 両ストリームからの不確実性を考慮した表現統合により、サブネットワークの誤予測に対する耐障害性が顕著に向上した。
• ロボットプラットフォーム上での実世界実験により、システムのリアルタイム推論能力と未観測環境への一般化能力が確認された。
• 拡張されたフライブルク・ストリート・クロッシングデータセットには、多様な交差点タイプ、照明、天候、交通シナリオが含まれており、システムの耐障害性を包括的に評価可能となった。