[論文レビュー] IntentNet: Learning to Predict Intention from Raw Sensor Data

Sergio Casas, Wenjie Luo+1 more|arXiv (Cornell University)|Jan 20, 2021

Autonomous Vehicle Technology and Safety被引用数 250

ひとこと要約

IntentNet は raw LiDAR BEV データとダイナミックマップから車両を同時検出し、連続的な軌跡と離散的な高レベルの意図をエンドツーエンドのネットワークで直接予測し、共有計算で検出、軌跡予測、意図予測を改善する。

ABSTRACT

In order to plan a safe maneuver, self-driving vehicles need to understand the intent of other traffic participants. We define intent as a combination of discrete high-level behaviors as well as continuous trajectories describing future motion. In this paper, we develop a one-stage detector and forecaster that exploits both 3D point clouds produced by a LiDAR sensor as well as dynamic maps of the environment. Our multi-task model achieves better accuracy than the respective separate modules while saving computation, which is critical to reducing reaction time in self-driving applications.

研究の動機と目的

• 安全な自動運転を、他のエージェントの高レベルな意図と将来の動作を正確に推定することで動機づける。
• LiDAR BEV とダイナミックマップ情報を統合して離散的なアクションと連続的な軌跡を予測する1段のネットワークを開発する。
• 検出、意図分類、軌道回帰を共同最適化して精度を高めつつ計算時間を削減する。

提案手法

• LiDAR ポイントクラウドを鳥瞰ビュー（BEV）で高さをチャネルとして3Dテンソルとして表現し、時間的文脈のために過去のスイープを複数積み重ねる。
• ダイナミックHDマップをBEVの二値マスクにラスタライズして路面トポロジー、車線、交差点、信号状態をエンコードする。
• LiDAR BEV とマップ入力を別々に処理する二系統のバックボーンを使用し、特徴を融合して3つのタスク専用ヘッド（検出、離散意図、軌道回帰）へ渡す。
• 各アンカーボックスについて予測する: (i) 車両/背景検出スコア、(ii) 8クラスの離散的高レベル意図、(iii) 将来の軌道を時間ステップごとの境界ボックスで。
• 検出損失、時間割引付きの意図クロスエントロピー、軌道のウェイト付き滑らかなL1 回帰損失を含むマルチタスク損失でエンドツーエンド訓練を行い、将来の不確実性を考慮するための時間割引係数を含める。

実験結果

リサーチクエスチョン

• RQ1 生の LiDAR とマップデータから車両を同時検出し、離散的な高レベルの意図を予測し、長期的な軌道を予測する単一のエンドツーエンドネットワークは実現可能か？
• RQ2 LiDAR とマップ情報の早期/遅期フュージョンと時間的文脈は、従来のFaFベースのアプローチより検出と意図／軌道予測を改善するか？
• RQ3 マップ事前情報と離散的意図損失を含めることは全体の検出とモーション予測性能にどのような影響を与えるか？

主な発見

モデル	mAP@0.5	mAP@0.6	mAP@0.7	mAP@0.8	mAP@0.9
SqueezeNet	74.0	62.3	41.9	13.8	0.2
SSD	84.0	75.1	58.2	26.0	1.0
MobileNet	86.1	78.3	60.4	27.5	1.1
FaF	89.8	82.5	68.1	35.8	2.5
FaF’	88.4	80.1	64.1	30.9	1.6
IntentNet	94.4	89.4	75.4	43.5	3.9
IntentNet*	88.?	80.1	64.1	30.9	1.6

• IntentNet はリアルタイム検出器より IoU レベルごとの検出 mAP が高い（例：mAP@0.5 = 94.4、mAP@0.6 = 89.4、mAP@0.7 = 75.4、mAP@0.8 = 43.5、mAP@0.9 = 3.9）。
• 軌道回帰はFaF および FaF’ に対して、L1 のトラック沿い、横断方向、姿勢誤差で改善（例：沿い0s: 0.26 m; 1s: 0.46 m; 横断0s: 0.15 m; ヘディング0s: 5.14 deg）。
• IntentNet は意図予測でベースラインを上回り、特に表現が少ない行動に対しても; 行動ごとの平均精度は97.7%に達する。
• マップ事前情報と離散的意図損失を含めると全体性能が最も良く、マップまたは意図損失を削除するとアブレーション study で劣化する。
• FaF と比較して、マップと高レベルアクションを含む完全入力の IntentNet は検出と長期のモーション予測を改善する。