[논문 리뷰] Empowering Autonomous Driving with Large Language Models: A Safety Perspective

Yixuan Wang, Ruochen Jiao외 6명|arXiv (Cornell University)|2023. 11. 28.

Topic Modeling인용 수 7

한 줄 요약

이 논문은 장기적 테일 시나리오에서 성능과 내구성을 향상시키기 위해 안전성 검증기를 활용한 맥락 기반 안전 학습을 통해 대규모 언어 모델(Large Language Models, LLMs)을 자율주행 시스템에 통합하여 안전 인지 의사결정자로 제안한다. 사례 연구는 LLMs가 맥락적 추론과 피드백 루프를 통해 의사결정, 인식, 예측 능력을 향상시키며 안전성을 유지함을 보여준다.

ABSTRACT

Autonomous Driving (AD) encounters significant safety hurdles in long-tail unforeseen driving scenarios, largely stemming from the non-interpretability and poor generalization of the deep neural networks within the AD system, particularly in out-of-distribution and uncertain data. To this end, this paper explores the integration of Large Language Models (LLMs) into AD systems, leveraging their robust common-sense knowledge and reasoning abilities. The proposed methodologies employ LLMs as intelligent decision-makers in behavioral planning, augmented with a safety verifier shield for contextual safety learning, for enhancing driving performance and safety. We present two key studies in a simulated environment: an adaptive LLM-conditioned Model Predictive Control (MPC) and an LLM-enabled interactive behavior planning scheme with a state machine. Demonstrating superior performance and safety metrics compared to state-of-the-art approaches, our approach shows the promising potential for using LLMs for autonomous vehicles.

연구 동기 및 목표

• 장기적 테일 시나리오에서 깊이 신경망의 투명성 부족과 일반화 능력 부족으로 인한 공공 신뢰도 저하와 안전 우려를 해결하기 위해.
• LLMs의 추론 능력과 일반 지식을 활용하여 현재의 AV 소프트웨어 스택에서의 해석 가능성과 분포 외 일반화 한계를 극복하기 위해.
• 실시간 안전 검증과 피드백을 갖춘 행동 수준의 의사결정자로서 LLMs가 작동하는 안전 인지 프레임워크를 개발하기 위해.
• 인식, 예측, 시뮬레이션 등 여러 AV 파이프라인 구성 요소에 LLMs를 통합하여 안전성과 해석 가능성 향상을 위한 탐색을 위해.
• 향후 연구 및 개발을 안내하기 위해 LLM 도입에 대한 종합적인 안전 시각을 제공하기 위해.

제안 방법

• 자연어로 기술된 장면 설명을 해석하여 차선 변경 또는 차선 유지와 같은 고수준 주행 동작을 생성하는 행동 수준의 의사결정자로 LLM을 구동한다.
• 실시간으로 LLM이 생성한 제어 입력의 안전성을 평가하는 안전성 검증기를 통합하여 맥락 기반 안전 학습을 위한 피드백 루프를 제공한다.
• 안전성 검증기의 피드백을 활용해 LLM 출력을 반복적으로 개선하며, 부적절한 의사결정을 인식, 예측 또는 행동 모듈로 추적하여 수정한다.
• LLM을 인식에 적용하여 맥락 이해(예: 공사 현장, 보행자 행동)를 통해 객체 탐지 능력을 향상시키고, 맥락 기반 검증을 통해 임의의 경고를 감소시킨다.
• LLM을 예측에 활용하여 이전 행동 기록과 자연어 입력을 분석해 운전자 의도와 공격성 수준을 추론함으로써 주변 에이전트의 행동을 더 효과적으로 예측한다.
• LLM을 시뮬레이션에 확장하여 다양한 인간 유사 주행 시나리오를 생성하고, 이벤트를 주석 처리하며, 자연어 기반 기술을 통해 안전하지 않은 극단적 케이스를 식별한다.

실험 결과

연구 질문

• RQ1 LLMs는 장기적 테일 주행 시나리오에서 일반 지식 추론과 맥락 이해 능력을 활용해 자율주행 차량의 의사결정 능력을 향상시킬 수 있는가?
• RQ2 LLM 기반 의사결정 파이프라인에 안전성 검증기를 통합하여 실시간 안전 검증과 피드백을 보장할 수 있는가?
• RQ3 LLMs는 맥락 기반 해석과 인간 유사 추론을 통해 인식 및 예측 모듈을 어느 정도 향상시킬 수 있는가?
• RQ4 다양한 AV 파이프라인 구성 요소(인식, 예측, 시뮬레이션)에 LLMs를 적용할 때의 실용적 이점과 한계는 무엇인가?
• RQ5 LLM-안전성 검증기 상호작용을 통한 맥락 기반 안전 학습은 기존의 DNN 기반 접근 방식에 비해 체계의 내구성과 일반화 능력을 어느 정도 향상시키는가?

주요 결과

• LLMs를 행동 수준의 의사결정자로 통합함으로써 맥락적 추론을 통해 복잡하고 드문 주행 시나리오에서의 시스템 성능이 크게 향상된다.
• 안전성 검증기는 LLM이 생성한 동작의 실시간 검증을 가능하게 하여, 부적절한 의사결정을 수정하고 시스템 신뢰도를 향상시키는 피드백 루프를 제공한다.
• 사례 연구는 맥락 기반 언어 이해를 통해 객체 탐지 결과를 검증함으로써 LLMs가 인식 모듈에서 임의의 경고를 감소시킬 수 있음을 확인한다.
• 운전자 행동, 제스처, 교통 보고서를 분석하여 공격성과 의도를 더 효과적으로 평가함으로써 LLMs가 예측 정확도를 향상시킨다.
• LLM이 생성한 자연어 기반 시나리오 기술은 시뮬레이션 모듈이 극단적 케이스를 더 넓고 현실적으로 테스트할 수 있도록 기여한다.
• 지연 시간과 환각 현상 등의 도전 과제가 존재하지만, 이 프레임워크는 자율주행 시스템의 안전성, 해석 가능성, 적응 가능성 향상 잠재력을 뚜렷이 보여준다.