[논문 리뷰] End-To-End Planning of Autonomous Driving in Industry and Academia: 2022-2023

Gongjin Lan an Qi Hao, Hao, Qi|arXiv (Cornell University)|2023. 12. 26.

Robotic Path Planning Algorithms인용 수 4

한 줄 요약

이 논문은 2022–2023년 기준 자율주행 분야의 엔드 투 엔드 운동 계획에 대한 종합적이고 최신의 리뷰를 제공한다. 산업계 시스템(Tesla FSD V12, Momenta, Horizon Robotics, Motional, Woven Planet)과 주요 학술 접근법(UniAD, NTU planning, nuPlan 챌린지 수상자들)을 포함한다. BEV 기반의 점유율 네트워크, 인간과 유사한 행동을 위한 역 강화 학습, 학습된 예측을 통합한 하이브리드 계획 기법을 강조하며, 엔드 투 엔드 시스템이 nuPlan과 같은 실제 기준 테스트에서 최신 성능을 달성하고 있음을 보여준다.

ABSTRACT

This paper aims to provide a quick review of the methods including the technologies in detail that are currently reported in industry and academia. Specifically, this paper reviews the end-to-end planning, including Tesla FSD V12, Momenta 2023, Horizon Robotics 2023, Motional RoboTaxi 2022, Woven Planet (Toyota): Urban Driver, and Nvidia. In addition, we review the state-of-the-art academic studies that investigate end-to-end planning of autonomous driving. This paper provides readers with a concise structure and fast learning of state-of-the-art end-to-end planning for 2022-2023. This article provides a meaningful overview as introductory material for beginners to follow the state-of-the-art end-to-end planning of autonomous driving in industry and academia, as well as supplementary material for advanced researchers.

연구 동기 및 목표

• 2022–2023년 기준 자율주행 분야의 최신 엔드 투 엔드 운동 계획 기법에 대한 간결하고 체계적인 개요를 제공하기 위해.
• 양 대다수의 기술적 혁신을 요약함으로써 산업 구현과 학술 연구 간 격차를 메우기 위해.
• 자율주행 분야의 초보자에게는 입문 자료로, 고급 연구자들에게는 보조 자료로 기능하기 위해.
• Tesla, Momenta, Horizon, Motional, Woven Planet 등의 선도 기업과 UniAD, NTU, nuPlan 챌린지 수상 논문 등 최고 수준의 학술 연구에서 도출된 최신 솔루션을 분석하고 비교하기 위해.
• BEV 기반 계획, 점유율 예측, 인간과 유사한 의사결정을 위한 역 강화 학습과 같은 주요 추세를 부각하기 위해.

제안 방법

• 논문은 구oral 발표, 영상, 기술 보고서 등 가용한 자료를 종합하여 산업계의 엔드 투 엔드 계획 시스템, 특히 BEV 기반 점유율 네트워크를 사용하는 Tesla FSD V12의 아키텍처를 재구성한다.
• UniAD와 같은 학술적 방법을 검토하며, BEV 특징과 조건부 운동 예측을 활용한 통합 트랜스포머 기반 프레임워크를 통해 예측과 계획을 통합하는 방식을 다룬다.
• NTU 계획 접근법은 세 모듈로 구성된 프레임워크를 사용한다: 행동 생성, 자동차의 계획에 기반한 다른 차량의 궤적 조건부 예측, 최대 엔트로피 역 강화 학습을 통한 평가.
• nuPlan 챌린지 수상 방법은 폐쇄 루프 플래너(PDM-Closed)와 IDM을 학습된 자동차 예측과 통합한 하이브리드 모델(PDM-Hybrid)을 조합하여 장기적 궤적 정확도를 향상시킨다.
• 논문은 BEV 표현 방식, 점유율 예측, 다중 센서 융합, 상호작용 행동 모델링 통합 여부 등을 기준으로 시스템을 평가한다.
• 구조화된 요약 표(Table I)를 통해 솔루션을 비교하며, 소스 코드 가용성, 출판 상태, 성능 기준을 포함한다.

실험 결과

연구 질문

• RQ1 Tesla FSD V12 및 Momenta와 같은 선도 기업의 시스템은 전통적인 모듈식 파ip라인에 의존하지 않고 엔드 투 엔드 계획을 어떻게 구현하는가?
• RQ2 UniAD 및 NTU 계획과 같은 학술 모델에서 인간과 유사한 상호작용 운동 계획을 가능하게 하는 주요 아키텍처 및 기술적 혁신은 무엇인가?
• RQ3 BEV 및 점유율 네트워크를 기반으로 한 엔드 투 엔드 시스템은 고정밀 지도 의존도를 어떻게 줄이고 다중 센서 융합을 향상시키는가?
• RQ4 역 강화 학습은 자율주행 차량의 의사결정을 인간 주행 행동과 어떻게 일치시키는가?
• RQ5 PDM-Hybrid와 같은 하이브리드 계획 접근법은 어떻게 학습된 구성 요소와 고전적 제어 모델을 조화시켜 실제 환경에서의 내구성과 성능을 달성하는가?

주요 결과

• Tesla FSD V12는 점유율 네트워크를 사용하는 엔드 투 엔드 BEV 기반 계획 시스템을 적용하고 있으나, 구체적인 기술 사양은 대부분 공개되지 않았다.
• UniAD는 CVPR 2023에서 최우수 논문상을 수상하였으며, 조건부 운동 예측을 통한 통합 트랜스포머 기반 아키텍처를 사용해 엔드 투 엔드 계획에서 최신 성능을 입증하였다.
• 2023년 nuPlan Planning 챌린지 수상 방법인 PDM-Hybrid는 학습된 자동차 예측 구성 요소와 IDM 모델을 조합하여 장기 예측 정확도를 높여 경쟁자들을 압도하였다.
• NTU 계획 프레임워크는 조건부 예측과 최대 엔트로피 역 강화 학습을 활용해 인간과 유사한 행동을 생성하며, 궤적 공동 모델링을 통한 계획 평가를 향상시켰다.
• Horizon Robotics의 엔드 투 엔드 시스템은 CVPR 2023 E2EAD 워크숍에서 영예로운 준우승을 차지하여 실제 기준 테스트에서 뛰어난 성능을 입증하였다.
• Woven Planet의 Urban Driver는 여전히 분야 내에서 널리 알려진 기준 시스템으로, 새로운 엔드 투 엔드 계획 시스템 평가의 기준이 되고 있다.