[논문 리뷰] SurrealDriver: Designing LLM-powered Generative Driver Agent Framework based on Human Drivers' Driving-thinking Data

Ye Jin, Yang, Ruoxuan외 10명|arXiv (Cornell University)|2023. 09. 22.

Traffic Prediction and Management Techniques인용 수 13

한 줄 요약

SurrealDriver는 기억과 안전 모듈을 갖춘 LLM 기반 도시 주행 에이전트 프레임워크로, 사람 운전사 인터뷰로부터 학습하여 CARLA 기반 시뮬레이션에서 인간에 가까운 모습과 안전성 향상을 이룸. 전체 프레임워크는 주목할 만한 안전성 향상과 인간 유사 행동 개선을 보인다.

ABSTRACT

Leveraging advanced reasoning capabilities and extensive world knowledge of large language models (LLMs) to construct generative agents for solving complex real-world problems is a major trend. However, LLMs inherently lack embodiment as humans, resulting in suboptimal performance in many embodied decision-making tasks. In this paper, we introduce a framework for building human-like generative driving agents using post-driving self-report driving-thinking data from human drivers as both demonstration and feedback. To capture high-quality, natural language data from drivers, we conducted urban driving experiments, recording drivers' verbalized thoughts under various conditions to serve as chain-of-thought prompts and demonstration examples for the LLM-Agent. The framework's effectiveness was evaluated through simulations and human assessments. Results indicate that incorporating expert demonstration data significantly reduced collision rates by 81.04\% and increased human likeness by 50\% compared to a baseline LLM-based agent. Our study provides insights into using natural language-based human demonstration data for embodied tasks. The driving-thinking dataset is available at \url{https://github.com/AIR-DISCOVER/Driving-Thinking-Dataset}.

연구 동기 및 목표

• CARLA에서 규칙 기반 및 데이터 기반 에이전트를 넘어서는 현실적인 도시 운전자 시뮬레이션의 필요성을 제시한다.
• 도시 맥락에 맞춘 지각, 의사결정, 제어 모듈이 포함된 LLM 기반 운전자 에이전트 프레임워크를 제안한다.
• 단기 기억, 장기 운전 지침 및 안전 기준을 통합해 인간 운전 행동과 일치시킨다.
• 사람 운전사 인터뷰 데이터를 활용해 DriverAgent를 인간과 유사한 운전 스타일로 이끄는 CoachAgent를 구축한다.
• 소거 실험과 사용자 연구를 통해 안전성, 연속성, 인간 유사성을 실증적으로 검증한다.

제안 방법

• 주행 시나리오를 LLM 이해를 위한 원자 수준의 지각 및 행동 기본 요소로 분해한다.
• 안전 기준, 단기 기억, 장기 운전 지침(CoachAgent)으로 구성된 3-모듈 기억 시스템을 사용한다.
• CARLA를 환경으로 사용하여 기본 지각-의사결정-제어 파이프라인을 갖춘 DriverAgent를 구현한다.
• 24명의 실제 운전사와의 인터뷰를 바탕으로 CoachAgent를 개발해 장기 운전 지침을 제공한다.
• 각 기억/안전 모듈이 안전성 및 연속성에 미치는 영향을 평가하기 위한 소거 실험을 수행한다.
• 24명의 참가자를 대상으로 한 사용자 연구를 통해 인간 유사성 평가를 수행한다.

실험 결과

연구 질문

• RQ1 도시 주행 시뮬레이션에서 안전 기준을 추가하면 충돌률에 어떤 영향을 미치는가?
• RQ2 단기 기억이 운전의 연속성 및 복잡성에 미치는 영향은 무엇인가?
• RQ3 장기 지침이 시간이 지남에 따라 운전 기량과 안전성을 향상시키는가?
• RQ4 전체 SurrealDriver 프레임워크가 기본 프레임워크 대비 인간과 유사한 운전 행동을 얼마나 잘 유발하는가?

주요 결과

프레임워크 변형	거리별 충돌률(미터당)	시간별 충돌률(초당)
w/o safety criteria, w/o short-term memory, w/o long-term guidelines	0.01453958	0.041315485
with safety criteria, w/o short-term memory, w/o long-term guidelines	0.00923361	0.02366976
with safety criteria, with short-term memory, w/o long-term guidelines	0.005046864	0.009530682
Full framework	0.002757353	0.005100011

• 안전 기준이 있는 프레임워크는 없는 프레임워크에 비해 충돌률을 57.46% 감소시켰다.
• 단기 기억이 있는 프레임워크는 없는 프레임워크에 비해 충돌률을 82.96% 감소시켰다.
• 장기 지침이 있는 프레임워크는 없는 프레임워크에 비해 충돌률을 83.03% 감소시켰다.
• 전체 아키텍처가 사용자 연구에서 가장 높은 인간 유사성을 달성했고, 기본 프레임워크에 비해 50% 증가했다.
• 소거 실험 결과 안전성, 기억, 지침 모듈이 안전성, 연속성 및 작업 완수를 함께 향상시킨다.