[논문 리뷰] LMDrive: Closed-Loop End-to-End Driving with Large Language Models

Hao Shao, Yuxuan Hu외 4명|arXiv (Cornell University)|2023. 12. 12.

Topic Modeling인용 수 4

한 줄 요약

LMDrive는 자연어 지시어를 냉동된 대규모 언어모델(LLL)과 다중모달 센서 데이터(카메라 및 라이다)를 통합하여 실시간으로 언어 유도 제어를 가능하게 하는 최초의 엔드 투 엔드, 클로즈드 루프 자율주행 프레임워크이다. LangAuto 벤치마크에서 최고 성능을 기록하며 인간과 유사한 추론과 지시 수행 능력을 보이며, 복잡하고 장시간 지속되는 주행 시나리오에서도 뛰어난 견고성을 입증한다.

ABSTRACT

Despite significant recent progress in the field of autonomous driving, modern methods still struggle and can incur serious accidents when encountering long-tail unforeseen events and challenging urban scenarios. On the one hand, large language models (LLM) have shown impressive reasoning capabilities that approach "Artificial General Intelligence". On the other hand, previous autonomous driving methods tend to rely on limited-format inputs (e.g. sensor data and navigation waypoints), restricting the vehicle's ability to understand language information and interact with humans. To this end, this paper introduces LMDrive, a novel language-guided, end-to-end, closed-loop autonomous driving framework. LMDrive uniquely processes and integrates multi-modal sensor data with natural language instructions, enabling interaction with humans and navigation software in realistic instructional settings. To facilitate further research in language-based closed-loop autonomous driving, we also publicly release the corresponding dataset which includes approximately 64K instruction-following data clips, and the LangAuto benchmark that tests the system's ability to handle complex instructions and challenging driving scenarios. Extensive closed-loop experiments are conducted to demonstrate LMDrive's effectiveness. To the best of our knowledge, we're the very first work to leverage LLMs for closed-loop end-to-end autonomous driving. Codes, models, and datasets can be found at https://github.com/opendilab/LMDrive

연구 동기 및 목표

• 장시간 지속되는 드문 사건과 복잡한 도심 주행 환경을 다루는 데에 한계가 있는 기존 자율주행 시스템의 문제를 해결하기 위해 언어 기반 추론을 가능하게 하기 위해.
• 모듈식 및 엔드 투 엔드 주행 시스템의 고정된 입력 형식 제약을 극복하기 위해 자연어 지시어를 첫 번째 입력으로 통합하기 위해.
• 자율주행 차량과 인간 승객 또는 내비게이션 소프트웨어 간에 자연어를 통한 실시간 클로즈드 루프 상호작용을 가능하게 하기 위해.
• 실제 복잡한 주행 시나리오에서 언어 기반 클로즈드 루프 자율주행 시스템을 평가하기 위한 벤치마크와 데이터셋을 구축하기 위해.

제안 방법

• 일반화 및 추론 능력을 유지하기 위해 냉동된 사전학습된 대규모 언어모델(LLL)을 추론 핵심으로 활용한다.
• 전용 시각 인코더(2D용 ResNet-50, 3D용 PointPillars)와 BEV(조감도) 특징 추출을 통해 다중모달 센서 입력(카메라 및 라이다)을 통합한다.
• LLM의 컨텍스트 창 크기에 적합한 가공된 토큰 시퀀스로 시각적 특징을 압축하고 적응시키기 위해 Q-Former 모듈을 사용한다.
• 시각 인코더 출력과 LLM을 연결하기 위해 학습 가능한 입력 및 출력 어댑터를 적용하여 LLM 가중치를 업데이트하지 않고도 엔드 투 엔드 미세조정을 가능하게 한다.
• 시각적 표현 학습을 향상시키기 위해 주행 데이터에 대해 마스크된 오토인코딩 목표함수를 사용하여 시각 인코더에 특화된 사전학습 전략을 적용한다.
• 과적합을 방지하기 위해 데이터 증강을 적용한 새로운 데이터셋(~64K개의 지시 따르기 클립)을 사용하여 CARLA 시뮬레이터에서 클로즈드 루프 설정으로 전체 시스템을 훈련한다.

실험 결과

연구 질문

• RQ1 대규모 언어모델이 자연어 지시어를 활용한 클로즈드 루프, 엔드 투 엔드 자율주행에 효과적으로 활용될 수 있는가?
• RQ2 다중모달 센서 데이터와 자연어 지시어를 통합함으로써 장시간 지속되는 드문 사례나 복잡한 도심 주행 환경에서의 추론 능력과 견고성이 어떻게 향상되는가?
• RQ3 냉동된 LLM에 시각 어댑터를 통합한 시스템이 다양한 주행 작업과 악성 지시 시나리오에 얼마나 잘 일반화되는가?
• RQ4 시각 사전학습 및 아키텍처 구성 요소(예: Q-Former, BEV 토큰 사용)가 언어 기반 주행 에이전트의 성능에 어떤 영향을 미치는가?
• RQ5 순차적 또는 모순되는 주행 명령을 따를 때 시스템은 시간적 일관성과 지시 모호성을 어떻게 처리하는가?

주요 결과

• LLaVA-v1.5는 LLaMA, LLaMA2, Vicuna 등 다른 LLM 백본보다 LangAuto 벤치마크에서 뛰어난 성능을 보이며 최고의 주행 점수 36.2를 기록하여 다중모달 사전학습의 이점이 입증되었다.
• Q-Former 모듈을 제거하면 주행 점수가 36.2에서 31.7로 감소하여, LLM 입력에 효과적으로 특징을 압축하기 위해 Q-Former가 필수적임을 확인한다.
• LLM 디코더에서 BEV 토큰을 제외하면 위반이 발생하는 점수는 0.81에서 0.72로 감소하여, 안전한 의사결정을 위해 시각적 맥락이 필수적임을 입증한다.
• 시각 인코더의 사전학습을 제거하면 주행 점수가 16.9로 감소하여, 주행 데이터에 대한 사전학습이 시각적 표현 품질을 크게 향상시킴을 증명한다.
• LangAuto-Notice 벤치마크에서 LMDrive는 악성 또는 예상치 못한 지시어를 처리할 때 충돌과 교통 위반을 줄여 더 뛰어난 견고성을 보였다.
• LangAuto-Sequential 벤치마크에서 복잡한 다단계 지시어를 처리하더라도 라우트 완료율과 주행 점수에 중간 정도의 감소만을 보이며, 시간적 인식과 지시 추적 능력이 우수함을 나타낸다.