[논문 리뷰] Driving with LLMs: Fusing Object-Level Vector Modality for Explainable Autonomous Driving

Long Chen, Oleg Sinavski외 6명|arXiv (Cornell University)|2023. 10. 03.

Topic Modeling인용 수 6

한 줄 요약

이 논문은 설명 가능하고 추론 기반의 자율주행을 가능하게 하기 위해 개체 수준의 벡터 표현을 사전 훈련된 언어 모델과 융합하는 새로운 다중모달 LLM 아키텍처를 제안한다. 벡터 설명 데이터로 사전 훈련하고 RL이 생성한 주행 시나리오에서 파생된 160만 개의 QA 데이터셋으로 미세조정함으로써, LLM 드라이버는 주행 질의 응답 및 행동 예측에서 뛰어난 성능을 보이며, 사전 훈련을 통해 평균 GPT 평가 점수에서 기준 모델보다 9.1% 향상된다.

ABSTRACT

Large Language Models (LLMs) have shown promise in the autonomous driving sector, particularly in generalization and interpretability. We introduce a unique object-level multimodal LLM architecture that merges vectorized numeric modalities with a pre-trained LLM to improve context understanding in driving situations. We also present a new dataset of 160k QA pairs derived from 10k driving scenarios, paired with high quality control commands collected with RL agent and question answer pairs generated by teacher LLM (GPT-3.5). A distinct pretraining strategy is devised to align numeric vector modalities with static LLM representations using vector captioning language data. We also introduce an evaluation metric for Driving QA and demonstrate our LLM-driver's proficiency in interpreting driving scenarios, answering questions, and decision-making. Our findings highlight the potential of LLM-based driving action generation in comparison to traditional behavioral cloning. We make our benchmark, datasets, and model available for further exploration.

연구 동기 및 목표

• LLM을 추론 '뇌'로 통합함으로써 자율주행 시스템의 해석 가능성과 분포 외 일반화 능력을 향상시키기 위해.
• 속도, 거리 등 개체 수준의 수치적 벡터 모odal리티를 사전 훈련된 LLM과 효과적으로 융합하여 더 풍부한 맥락 이해를 가능하게 하기 위해.
• RL 에이전트와 GPT-3.5를 활용해 고품질 주행 시나리오 QA 쌍을 자동으로 생성하는 확장 가능한 파이프라인을 개발하기 위해.
• LLM 기반 평가 및 재현 가능한 기준 모델을 갖춘 새로운 주행 질의 응답(DQA) 벤치마크를 구축하기 위해.
• 단지 벡터와 텍스트 입력만을 사용해 엔드 투 엔드 LLM 기반 주행 정책 학습의 가능성 탐색하기 위해.

제안 방법

• 수치적 벡터 모달리티를 LLM 표현과 정렬하기 위해, 개체 수준의 벡터에서 텍스트 기반 설명(벡터 설명 생성)을 생성하는 이중 단계 사전 훈련 전략을 사용한다.
• 맞춤형 2D 주행 시뮬레이터가 다양한 주행 시나리오를 생성하며, RL 에이전트가 전문가 수준의 제어 명령어를 제공한다.
• 교사 LLM(GPT-3.5)이 언어로 변환된 벡터 관측치를 조건으로 삼아 160만 개의 질문-답변 쌍을 생성한다.
• LLM 아키텍처는 어댑터를 사용해 벡터 및 텍스트 모달리티를 융합하며, 시나리오 맥락에 대한 공동 추론을 가능하게 한다.
• 평가에서는 GPT-3.5를 평가자로 사용해 테스트 세트에서 답변 품질을 평가하며, 신뢰성 확보를 위해 인간이 애너테이션한 검증 데이터를 함께 활용한다.
• 최종 LLM 드라이버 모델은 주행 행동 예측 및 시나리오 이해를 위해 QA 데이터셋으로 미세조정된다.

실험 결과

연구 질문

• RQ1 텍스트 기반 사전 훈련을 통해 개체 수준의 벡터 모달리티를 사전 훈련된 LLM에 효과적으로 통합할 수 있는가?
• RQ2 전통적인 행동 복제와 비교했을 때, LLM 기반 에이전트는 주행 질의 응답 및 행동 예측에서 얼마나 잘 수행되는가?
• RQ3 벡터 설명 사전 훈련이 LLM의 주행 시나리오에 대한 추론 능력 향상에 얼마나 기여하는가?
• RQ4 개선된 해석 가능성과 함께, LLM 기반 시스템은 분포 외 주행 시나리오로 일반화할 수 있는가?
• RQ5 GPT-3.5는 주행 QA 작업의 인간-인-더-루프 평가자로 얼마나 효과적인가?

주요 결과

• 사전 훈련을 적용한 LLM 드라이버는 주행 QA 벤치마크에서 평균 GPT 평가 점수 8.39를 기록했으며, 사전 훈련되지 않은 버전보다 평균 9.1% 향상되었다.
• 인간 애너테이션 평가 결과 모델의 성능이 확인되었으며, 평균 점수 7.71로 GPT 평가와 강한 일치를 보였다.
• 모델은 일정한 답변 및 무작위 답변 기준 모델보다 유의미하게 높은 성능을 보였으며, GPT 점수는 각각 2.92와 3.88였다.
• 사전 훈련 전략은 벡터 모달리티를 LLM 표현과 효과적으로 정렬하여 주행 시나리오에서 더 나은 맥락 추론을 가능하게 했다.
• LLM 드라이버는 강력한 일반화 능력과 해석 가능성을 보이며, 자율 시스템에서 AGI 유사 추론의 잠재력을 보여주었다.
• 본 연구는 벡터 모달리티 융합, 데이터셋, 평가 파이프라인을 갖춘 LLM 기반 주행을 위한 첫 번째 엔드 투 엔드 프레임워크를 구축했다.