[논문 리뷰] Evaluation of Large Language Models for Decision Making in Autonomous Driving

Kôtarô Tanahashi, Yuichi Inoue외 12명|arXiv (Cornell University)|2023. 12. 11.

Topic Modeling인용 수 6

한 줄 요약

이 논문은 자율주행 주행 의사결정에서 대규모 언어모델(Large Language Models, LLMs)의 효과성을 평가하며, 공간 인지 의사결정과 교통 규칙 준수 능력을 중심으로 분석한다. 시뮬레이션된 고속도로 환경과 실제 차량 배치를 통해 GPT-4가 LLaMA-2나 GPT-3.5와 같은 더 작은 모델들보다 정확도와 추론 능력에서 뚜렷이 뛰어나며, 특히 모순되는 지시사항과 교통 규칙이 동시에 존재하는 복잡한 조건에서 뛰어난 성능을 보였다.

ABSTRACT

Various methods have been proposed for utilizing Large Language Models (LLMs) in autonomous driving. One strategy of using LLMs for autonomous driving involves inputting surrounding objects as text prompts to the LLMs, along with their coordinate and velocity information, and then outputting the subsequent movements of the vehicle. When using LLMs for such purposes, capabilities such as spatial recognition and planning are essential. In particular, two foundational capabilities are required: (1) spatial-aware decision making, which is the ability to recognize space from coordinate information and make decisions to avoid collisions, and (2) the ability to adhere to traffic rules. However, quantitative research has not been conducted on how accurately different types of LLMs can handle these problems. In this study, we quantitatively evaluated these two abilities of LLMs in the context of autonomous driving. Furthermore, to conduct a Proof of Concept (POC) for the feasibility of implementing these abilities in actual vehicles, we developed a system that uses LLMs to drive a vehicle.

연구 동기 및 목표

• 다양한 LLMs가 자율주행을 위한 공간 인지 의사결정과 교통 규칙 준수 능력에서 얼마나 잘 수행되는지 정량적으로 평가하는 것.
• 추론를 요청하는 프롬프트가 고용량 모델에서 특히 정확도 향상에 기여하는지 여부를 조사하는 것.
• 자연어 지시사항과 환경 입력을 통해 실제 차량을 제어할 수 있는지의 가능성을 입증하는 것.
• 자율주행 시스템에서 모델 능력, 추론 속도, 실시간 적용 가능성 간의 상호 상충 관계를 평가하는 것.
• 예를 들어 교통경찰의 지시나 모순되는 지시에 대응하는 등 윤리적 의사결정 상황에서 LLMs의 잠재력을 탐색하는 것.

제안 방법

• 에고 차량, 주변 차량, 교통 규칙을 포함한 이중 차선 고속도로 환경을 모의한 시뮬레이션 환경을 구축하였다.
• 공간 인지 의사결정(SADM)을 위한 34개 샘플, 교통 규칙 준수(FTR)를 위한 24개 샘플, 병합 작업(SADM&FTR)을 위한 50개 샘플로 구성된 데이터셋을 생성하였다.
• LLM에 구조화된 입력을 제공: 에고 차량 상태, 주변 물체(카테고리, x/y 위치, 속도), 자연어로 기술된 교통 규칙, 사용자 지시사항.
• LLM이 가속, 유지, 감속, 왼쪽 차선 변경, 오른쪽 차선 변경 중 5개 행동 중 하나를 선택하고, 선택 근거를 JSON 형식으로 제시하도록 지시하였다.
• 객체 탐지 데이터와 인간 지시사항을 사용하여 API를 통해 GPT-4를 활용해 실제 차량을 제어하였으며, 동적 규칙 주입(예: 경찰 신호에 따라 정지)을 구현하였다.
• 행동 선택 정확도와 추론 품질을 평가 기준으로 삼아, 시뮬레이션 및 실제 환경에서 LLaMA-2, GPT-3.5, GPT-4를 비교 분석하였다.

실험 결과

연구 질문

• RQ1 다른 LLMs는 주변 차량의 좌표 및 속도 데이터만으로 공간 인지 의사결정을 얼마나 정확하게 수행할 수 있는가?
• RQ2 자연어로 제공된 지시사항에 따라 LLMs는 속도 제한 및 차선 변경 규정과 같은 교통 규칙을 얼마나 정확히 준수할 수 있는가?
• RQ3 추론 설명 요청을 포함한 프롬프트가 자율주행 상황에서 LLM의 의사결정 정확도를 향상시키는가?
• RQ4 GPT-4와 같은 LLMs는 인간 지시사항과 교통경찰 신호 간의 충돌이 발생할 경우 안전 규칙을 우선시하여 대처할 수 있는가?
• RQ5 지연 시간과 계산 자원 제약를 고려할 때, LLMs를 사용해 자율주행 차량의 엔드 투 엔드 의사결정을 실현 가능한가?

주요 결과

• GPT-4는 모든 작업에서 가장 높은 정확도를 기록했으며, 시뮬레이션에서 SADM 96%, FTR 92%, SADM&FTR 94%의 정확도를 달성하여 GPT-3.5 및 LLaMA-2를 압도적으로 앞섰다.
• 프롬프트에 추론을 포함시킴으로써 GPT-3.5와 GPT-4의 의사결정 정확도가 향상되었지만, LLaMA-2에는 영향을 주지 않아, 추론 프롬프트는 고용량 모델에만 유의미한 이점을 제공함을 시사한다.
• GPT-4는 모순되는 사용자 지시사항에 속임을 당했음에도 불구하고 70km/h 속도 제한 규칙을 정확히 식별하고 적용하여 안정적인 규칙 우선순위 설정 능력을 입증했다.
• 실차량 배치에서 GPT-4는 20개 샘플 테스트 세트에서 95%의 높은 정확도를 유지했으며, 목표 콘을 정확히 향해 주행하고 교통경찰의 신호에 따라 정지하는 데 성공했다.
• LLaMA-2는 현지 배포가 가능했지만 대부분의 작업에서 정확도가 50% 이하에 머물러, 모델 크기와 성능 간의 상충 관계를 드러냈다.
• 이 연구는 고용량 LLMs인 GPT-4와 같은 모델들이 신뢰할 수 있는 자율주행 의사결정을 위해 필수적이지만, 지연 시간 문제로 인해 클라우드 API를 통한 실시간 배포는 여전히 도전 과제임을 확인했다.