[論文レビュー] LiRaNet: End-to-End Trajectory Prediction using Spatio-Temporal Radar Fusion

Meet Shah, Zhiling Huang+6 more|arXiv (Cornell University)|Oct 1, 2020

Autonomous Vehicle Technology and SafetyEngineering被引用数 17

ひとこと要約

LiRaNetは、レーダーの空間的・時間的データとライダーおよびHDマップを統合することで、運動予測の精度を向上させるエンドツーエンドの軌道予測モデルを提案する。レーダーの径方向速度と長距離検出能力を活用することで、高加速度物体では予測誤差を52%削減し、長距離では16%削減する。ライダーのみのベースラインに比べ、点群が疎な状況下でも安全に走行する状況で優れた性能を発揮する。

ABSTRACT

In this paper, we present LiRaNet, a novel end-to-end trajectory prediction method which utilizes radar sensor information along with widely used lidar and high definition (HD) maps. Automotive radar provides rich, complementary information, allowing for longer range vehicle detection as well as instantaneous radial velocity measurements. However, there are factors that make the fusion of lidar and radar information challenging, such as the relatively low angular resolution of radar measurements, their sparsity and the lack of exact time synchronization with lidar. To overcome these challenges, we propose an efficient spatio-temporal radar feature extraction scheme which achieves state-of-the-art performance on multiple large-scale datasets.Further, by incorporating radar information, we show a 52% reduction in prediction error for objects with high acceleration and a 16% reduction in prediction error for objects at longer range.

研究の動機と目的

• 点群が疎な状況、高加速度、長距離検出といった状況下でライダーのみの軌道予測の限界を克服すること。
• 低角分解能、点群の疎らかさ、位置の不確実性、ライダーとの時間同期の欠如といったレーダー統合の課題を克服すること。
• ライダーとHDマップとをレーダーと早期に統合し、自動運転における運動予測の精度を向上させること。
• 大規模データセット上で最先端の性能を示しながら、低遅延推論を維持すること。

提案手法

• モデルは、レーダー点群の時系列を動的かつBEVグリッド表現に統合するグラフベースの空間的・時間的特徴抽出方式を採用する。
• 各グリッドセルに対してk近傍探索を用いてレーダー特徴を抽出し、学習可能なモジュールを経て空間的・時間的ダイナミクスを符号化する。
• ライダーとHDマップの特徴は、特徴レベルでレーダー特徴と早期に統合され、幾何的および動的情報を統合的にモデル化可能となる。
• ネットワークはトランスフォーマーに基づくバックボーンを採用し、マルチセンサー特徴を統合してエンドツーエンドで将来の軌道を予測する。
• 各セルのレーダー処理にCUDA最適化キーナルを活用し、TensorRTによる推論加速を実現することで実行時最適化を達成する。
• 可変長のレーダー履歴（最大0.5秒）を処理できるように設計された時間的統合層は、遅延への影響を最小限に抑える。

実験結果

リサーチクエスチョン

• RQ1 ライダーとHDマップとを早期に統合したレーダー統合は、複雑な実世界の走行状況における軌道予測性能を向上させ得るか？
• RQ2 ライダーが点群が疎な高加速度または長距離の物体に対して、レーダーによる速度推定が予測精度をどのように向上させるか？
• RQ3 マルチモーダルな軌道予測におけるモードの曖昧さ解消に、レーダーはどの程度寄与するか？
• RQ4 エンドツーエンドの軌道予測システムにレーダーデータを統合した際の遅延オーバーヘッドはどの程度か？
• RQ5 遮蔽状況や点群密度が低い状況において、レーダーは検出性能を向上させ得るか？

主な発見

• LiRaNetは、ライダーのみのベースラインと比較して、高加速度物体の軌道予測誤差を52%削減した。
• 点群密度が低い長距離の物体では、16%の予測誤差削減が確認された。
• レーダーを追加したことで、検出性能が向上し、nuScenesではAP0.5が7.57ポイント向上、X17kでは2.30ポイント向上した。
• レーダー追加による実行時遅延の増加は最小限であり、0.5秒のレーダー履歴を含んでも遅延は3.5ms増加（38.02ms → 40.98ms）にとどまった。
• 定性的な結果から、遮蔽状況、高速走行、点群密度が低い状況において、レーダーが予測性能を顕著に向上させていることが示された。
• レーダーの追加により、マルチモーダル予測におけるモードの曖昧さが解消され、危険なレーン変更や急な旋回といった誤った軌道仮説が減少した。