[논문 리뷰] End-to-end Interpretable Neural Motion Planner

Wenyuan Zeng, Wenjie Luo외 5명|arXiv (Cornell University)|2021. 01. 17.

Autonomous Vehicle Technology and Safety참고 문헌 32인용 수 4

한 줄 요약

이 논문은 원시 LiDAR 및 고정밀 지ap 데이터를 처리하여 3D 검출, 향후 궤적 및 시간에 따라 변화하는 비용 볼륨을 생성하는 엔드 투 엔드 해석 가능한 신경 운동 계획 모델(NMP)을 제안한다. 모델은 다양한 물리적으로 타당한 궤적을 샘플링하고, 학습된 비용이 가장 낮은 궤적을 선택함으로써 기존 베이스라인보다 더 안전한 계획을 달성하면서도, 실제 도심 주행 데이터에서 검출 및 운동 예측 성능 면에서 최신 기술 수준을 유지한다.

ABSTRACT

In this paper, we propose a neural motion planner (NMP) for learning to drive autonomously in complex urban scenarios that include traffic-light handling, yielding, and interactions with multiple road-users. Towards this goal, we design a holistic model that takes as input raw LIDAR data and a HD map and produces interpretable intermediate representations in the form of 3D detections and their future trajectories, as well as a cost volume defining the goodness of each position that the self-driving car can take within the planning horizon. We then sample a set of diverse physically possible trajectories and choose the one with the minimum learned cost. Importantly, our cost volume is able to naturally capture multi-modality. We demonstrate the effectiveness of our approach in real-world driving data captured in several cities in North America. Our experiments show that the learned cost volume can generate safer planning than all the baselines.

연구 동기 및 목표

• 엔드 투 엔드 학습과 전통적인 모듈식 자율 주행 스택 사이의 격차를 메우기 위해, 해석 가능한 공동 최적화된 인식 및 계획을 가능하게 하는 것.
• 실제 데이터에서 학습하면서도 3D 검출, 향후 궤적 및 공간-시간 비용 볼륨과 같은 해석 가능한 중간 출력을 생성하는 운동 계획 모델을 개발하는 것.
• 신호등 대처, 양보, 다중 에이전트 상호작용을 포함한 복잡한 도심 환경에서의 안전성과 내구성을 향상시키는 것.
• 비용 맵과 운동 예측과 같은 중간 표현을 노출시켜 더 나은 해석 가능성과 실패 분석을 가능하게 하는 것.
• 계획의 안전성, 검출 정확도, 운동 예측 성능 면에서 엔드 투 엔드 및 모듈식 베이스라인을 모두 능가하는 것.

제안 방법

• 모델은 원시 LiDAR 포인트 클라우드와 고정밀 지도를 처리하는 백본 네트워크를 사용하여 주변 에이전트의 3D 경계 상자와 그들의 향후 궤적을 예측한다.
• 계획 기간 동안 자동차의 각 가능한 향후 위치에 대한 '우수도'를 캡처하는 다중 필터 비용 볼륨을 생성한다. 이는 다중 모달리티를 포괄할 수 있도록 한다.
• 검출, 운동 예측 및 계획 손실을 조합한 공동 최적화 목표를 통해 비용 볼륨을 엔드 투 엔드로 학습한다.
• 궤적 샘플러는 비용 볼륨을 기반으로 다양한 물리적으로 타당한 후보 궤적을 생성한다.
• 최종 운동 계획은 모든 시간 단계를 거쳐 누적 비용이 가장 낮은 궤적을 선택함으로써 결정되며, 이는 비용 볼륨 필터에서 인덱싱된다.
• 충돌 및 차선 위반과 같은 위험한 행동을 방지하기 위해 교통 규칙 페널티를 도입한다.

Figure 1: Our end-to-end interpretable neural motion planner (NMP). Backbone network takes LiDAR data and maps as inputs, and outputs bounding boxes of other actors for future timesteps (perception), as well as a cost volume for planning with $T$ filters. Next, for each trajectory proposal from the

실험 결과

연구 질문

• RQ1 엔드 투 엔드 신경망이 중간 표현을 통해 해석 가능성을 유지하면서도 인식과 운동 계획을 공동 최적화할 수 있는가?
• RQ2 학습된 비용 볼륨이 차선 변경 대비 차선 유지와 같은 다중 모달 주행 행동을 얼마나 잘 포괄할 수 있는가?
• RQ3 검출, 예측, 계획을 공동 최적화함으로써 작업 특화 또는 모듈식 시스템에 비해 안전성과 성능이 향상되는가?
• RQ4 복잡한 도심 환경에서 고밀도 교통과 동적 상호작용이 있는 상황으로 일반화되는 정도는 어느 정도인가?
• RQ5 학습된 비용 볼륨이 실제 주행 환경에서 수동으로 설계된 비용 함수를 능가하는가?

주요 결과

• 제안된 NMP는 IoU 0.5에서 94.2, 0.6에서 90.8, 0.7에서 81.1의 최신 기술 수준 mAP 성능을 달성하여, Pixor 및 IntentNet과 같은 전용 검출기보다 3D 검출에서 뛰어난 성능을 보였다.
• 운동 예측에서는 모든 시간 단계에서 기존 베이스라인 대비 더 낮은 L1 및 L2 오차를 기록했으며, t=5s에서 L2 오차가 0.85m로 향후 궤적 예측 정확도가 향상됨을 보였다.
• 모델은 향후 충돌률을 크게 감소시켰으며, IL 및 Ego-motion 베이스라인 대비 50% 이상 낮게 유지하여 계획의 안전성에서 뛰어난 성능을 입증했다.
• 제거 실험을 통해 계획 손실과 교통 규칙 페널티를 함께 훈련시키는 것이 계획 성능을 크게 향상시키며 충돌 및 차선 위반률을 감소시킴을 확인했다.
• 비용 맵의 시각화 결과, 모델이 시간에 따라 변화하고 시나리오에 민감한 비용 분포를 학습하고 있음을 확인했으며, 다중 모달리티, 차선 유지, 충돌 회피 행동을 포함한다.
• ACC(차선을 따라 주행하도록 설계된 시스템)보다도 낮은 차선 위반률을 기록함으로써, 모델이 하드코딩된 규칙에 의존하지 않고 데이터로부터 지도 기반 행동을 학습하고 있음을 시사한다.

Figure 2: Trajectory Representation. We first sample a set of parameters of a Clothoid to determine the shape of a trajectory. We then sample a velocity profile to determine how fast the SDV go along this trajectory. Combining these two, we can get a space-time trajectory.