[論文レビュー] Rethinking the Open-Loop Evaluation of End-to-End Autonomous Driving in nuScenes

Jiang-Tian Zhai, Ze Feng+7 more|arXiv (Cornell University)|May 17, 2023

Autonomous Vehicle Technology and Safety被引用数 9

ひとこと要約

この論文は、自我状態情報のみを用いたMLPベースのモデルが nuScenes での端到端計画性能を、知覚ベースの手法と同等に達成できることを示し、現在のオープンループ評価指標が手法の優位性を過大評価する可能性があると主張しています。

ABSTRACT

Modern autonomous driving systems are typically divided into three main tasks: perception, prediction, and planning. The planning task involves predicting the trajectory of the ego vehicle based on inputs from both internal intention and the external environment, and manipulating the vehicle accordingly. Most existing works evaluate their performance on the nuScenes dataset using the L2 error and collision rate between the predicted trajectories and the ground truth. In this paper, we reevaluate these existing evaluation metrics and explore whether they accurately measure the superiority of different methods. Specifically, we design an MLP-based method that takes raw sensor data (e.g., past trajectory, velocity, etc.) as input and directly outputs the future trajectory of the ego vehicle, without using any perception or prediction information such as camera images or LiDAR. Our simple method achieves similar end-to-end planning performance on the nuScenes dataset with other perception-based methods, reducing the average L2 error by about 20%. Meanwhile, the perception-based methods have an advantage in terms of collision rate. We further conduct in-depth analysis and provide new insights into the factors that are critical for the success of the planning task on nuScenes dataset. Our observation also indicates that we need to rethink the current open-loop evaluation scheme of end-to-end autonomous driving in nuScenes. Codes are available at https://github.com/E2E-AD/AD-MLP.

研究の動機と目的

• nuScenesにおけるエンドツーエンド自動運転評価の再評価を促す。
• 知覚や予測入力に依存しない、単純なエンドツーエンドモデルを提案する。
• 提案モデルを nuScenes の指標を用いて知覚ベースの手法と比較する。
• 計画の成功要因と評価スキームへの影響を分析する。

提案手法

• 入力は自我状態の履歴と高レベルの指令からなり、知覚機能は含まれない。
• 次の T_f フレームに対する自我軌道を、単純な MLP で予測。
• トレーニングは将来フレームに対してL1損失を用いた真値軌道を使用。
• グリッドベースの衝突考慮による難例に対して損失の加重を適用。
• モデル実装は PaddlePaddle と PyTorch の両方で、指定された最適化手法とスケジュールを用意。

実験結果

リサーチクエスチョン

• RQ1 知覚・予測情報を含む入力は、nuScenes で自我状態情報のみを用いる計画と比べて明確な優位性を提供するだろうか？
• RQ2 現在の nuScenes の計画評価指標（L2誤差、衝突率）は、エンドツーエンドの計画手法を区別するのに頑健か？
• RQ3 入力成分（速度、加速度、高レベル指令）が計画性能と安全性にどのように影響するか？

主な発見

方法	知覚	高レベル	自我状態	L2（m）↓	衝突（%）↓	情報	命令	速度	加速度	軌道	1秒	2秒	3秒	平均	1秒	2秒	3秒	平均
NMP	✓	✗	-	-	-	-	-	-	-	-	2.31	-	-	1.92	-	-	-	-
SA-NMP	✓	✗	-	-	-	-	-	-	-	-	2.05	-	-	1.59	-	-	-	-
FF	✓	✗	-	-	-	-	-	-	-	-	0.55	1.20	2.54	1.43	0.06	0.17	1.07	0.43
EO	✓	✗	-	-	-	-	-	-	-	-	0.67	1.36	2.78	1.60	0.04	0.09	0.88	0.33
ST-P3	✓	✓	-	-	-	-	-	-	-	-	1.33	2.11	2.90	2.11	0.23	0.62	1.27	0.71
UniAD	✓	✓	-	-	-	-	-	-	-	-	0.48	0.96	1.65	1.03	0.05	0.17	0.71	0.31
VAD-Tiny	✓	✓	✓	✓	✓	-	-	-	-	-	0.20	0.38	0.65	0.41	0.10	0.12	0.27	0.16
VAD-Base	✓	✓	✓	✓	✓	-	-	-	-	-	0.17	0.34	0.60	0.37	0.07	0.10	0.24	0.14
Ours	✗	✗	-	-	✓	-	-	-	✓	0.53	0.91	1.48	0.97	0.17	0.46	0.83	0.49
✗	✗	-	✓	✓	0.33	0.48	0.66	0.49	0.21	0.29	0.40	0.30
✗	✗	✓	✓	✓	0.24	0.32	0.49	0.35	0.18	0.22	0.28	0.23
✗	✓	✓	✓	✓	0.20	0.26	0.41	0.29	0.17	0.18	0.24	0.19

• 自我状態のみのMLPは、nuScenesで知覚ベースの手法と同等のL2計画性能を達成できる。
• 速度、加速度、及び高レベル指令情報を組み込むと、アブレーションで平均L2誤差と衝突率が低減する。
• 知覚ベースの手法は衝突率で有利な場合があるかもしれないが、多くのケースで差は小さい。
• 占有グリッドのグリッドサイズは衝突評価に大きく影響し、 GT 軌道に対する偽陽性を引き起こすことがある。
• nuScenesの軌道データは前方・直線-小さな回頭の動きに偏っており、評価のダイナミクスに影響を与える。
• 本研究は、現在のオープンループ評価スキームが実世界の計画品質を頑健に反映していない可能性を示唆する。