[논문 리뷰] Receive, Reason, and React: Drive as You Say with Large Language Models in Autonomous Vehicles

Can Cui, Yunsheng Ma외 3명|arXiv (Cornell University)|2023. 10. 12.

Human-Automation Interaction and Safety인용 수 8

한 줄 요약

논문은 대형 언어 모델(LLM)을 자율주행차의 의사결정 뇌로 활용하고, 인지, 로컬라이제이션, 차내 도구와 협력하여 명령을 해석하고, 사고의 체인(prompting)으로 추론하며 운전 행태를 개인화하는 인간 중심 프레임워크를 제안한다.

ABSTRACT

The fusion of human-centric design and artificial intelligence (AI) capabilities has opened up new possibilities for next-generation autonomous vehicles that go beyond transportation. These vehicles can dynamically interact with passengers and adapt to their preferences. This paper proposes a novel framework that leverages Large Language Models (LLMs) to enhance the decision-making process in autonomous vehicles. By utilizing LLMs' linguistic and contextual understanding abilities with specialized tools, we aim to integrate the language and reasoning capabilities of LLMs into autonomous vehicles. Our research includes experiments in HighwayEnv, a collection of environments for autonomous driving and tactical decision-making tasks, to explore LLMs' interpretation, interaction, and reasoning in various scenarios. We also examine real-time personalization, demonstrating how LLMs can influence driving behaviors based on verbal commands. Our empirical results highlight the substantial advantages of utilizing chain-of-thought prompting, leading to improved driving decisions, and showing the potential for LLMs to enhance personalized driving experiences through ongoing verbal feedback. The proposed framework aims to transform autonomous vehicle operations, offering personalized support, transparent decision-making, and continuous learning to enhance safety and effectiveness. We achieve user-centric, transparent, and adaptive autonomous driving ecosystems supported by the integration of LLMs into autonomous vehicles.

연구 동기 및 목표

• LLM과 인지, 로컬라이제이션, 차내 모니터링을 파트너로 삼는 자율주행차용 인간 중심 LLM 통합 프레임워크를 시연한다.
• HighwayEnv 주행 시나리오에서 LLM의 해석, 상호작용, 추론을 조사한다.
• Chain-of-thought prompting이 운전 결정 및 안전에 미치는 영향을 평가한다.
• 구두 명령을 통한 운전 스타일의 실시간 개인화를 시연한다.
• 적응형 자율주행 행동에서 맥락 학습(context learning)과 기억(memory)의 역할을 분석한다.

제안 방법

• LLM(GPT-4)을 차량의 의사결정 뇌로 삼아 인지, 위치 확인, 기억 모듈에 질의한다.
• 도구와 기억을 활용하여 LLM에 환경 관측치를 제공하고 이를 바탕으로 판단/행동 계획을 수행한다.
• 고속도로 차선 변경 및 합류 시나리오에서 체인 오브 thought prompting과 표준 prompting을 비교한다.
• HighwayEnv에서 구두 명령(drive conservatively/ aggressively)을 통한 운전 스타일 개인화를 실험한다.
• 인지/로컬라이제이션/차내 모니터링을 LLM 기반 의사결정의 차량 센서 입력으로 통합한다.

실험 결과

연구 질문

• RQ1 인지, 로컬라이제이션, 기억 도구로 보강된 상태에서 LLM이 자율주행차의 효과적인 의사결정 뇌로서 작동할 수 있는가?
• RQ2 복잡한 시나리오에서 체인 오브 thought prompting이 안전성과 운전 결정의 실현 가능성을 높이는가?
• RQ3 실시간으로 운전자 명령이 자율주행 행동에 어느 정도까지 영향을 주고 개인화할 수 있는가?
• RQ4 맥락 학습과 기억이 LLM 기반 자율주행 의사결정을 개선하는 데 어떤 역할을 하는가?

주요 결과

Commands	Mean Abs Acceleration	Mean Abs Steering	Max Abs Speed	Min Front Gap	Overall Time	# Chaging Lanes
Drive more Aggresively	3.10 m/s^2	0.03 rad	34.77 m/s	7.17 m	24.33 s	6
Drive more Conservatively	0.18 m/s^2	0.01 rad	20.00 m/s	39.14 m	46.20 s	1
No Extra Command	1.41 m/s^2	0.02 rad	27.43 m/s	24.01 m	34.20 s	2

• 체인 오브 thought prompting은 고속도로 시나리오에서 표준 prompting보다 더 안전하고 실행 가능성이 높은 차선 변경 결정을 산출한다.
• LLMs는 센서 유도 관찰과 현지 법규를 해석하여 차선 변경, 속도 조정, 안전할 때 차선으로 복귀를 포함하는 행동 계획을 생성할 수 있다.
• 구두 지시(drive conservatively vs aggressively)는 가속, 조향, 속도, 앞 간격, 경로 시간에 뚜렷하고 측정 가능한 변화를 만들어 낸다.
• 맥락 없는 prompting 없이 LLM은 교통 상황에서 무모한 결정을 내릴 수 있어 체인 오브 thought 지도의 가치가 강조된다.
• 맥락 학습과 기억은 완전한 재학습 없이 새로운 시나리오에 적응하도록 하여 계산 및 재정적 비용을 감소시킨다.