[논문 리뷰] Optimizing Autonomous Driving for Safety: A Human-Centric Approach with LLM-Enhanced RLHF

Sun Yuan, Navid Salami Pargoo외 2명|arXiv (Cornell University)|2024. 06. 06.

Human-Automation Interaction and SafetyPsychology인용 수 3

한 줄 요약

이 논문은 자율주행 안전성을 위한 인간 중심의 LLM 강화학습 인간 피드백(Reinforcement Learning from Human Feedback, RLHF) 프레임워크를 제안한다. 인간 운전사의 물리적 및 생리적 센서 데이터를 통합하고, LLM을 활용해 인간의 선호도를 해석하고 시뮬레이션함으로써, 다중 에이전트 시뮬레이션 환경에서 자율주행차 정책을 미세조정함으로써 실제 인간 행동과 안전 기준에 더 잘 부합하는 결과를 도출한다.

ABSTRACT

Reinforcement Learning from Human Feedback (RLHF) is popular in large language models (LLMs), whereas traditional Reinforcement Learning (RL) often falls short. Current autonomous driving methods typically utilize either human feedback in machine learning, including RL, or LLMs. Most feedback guides the car agent's learning process (e.g., controlling the car). RLHF is usually applied in the fine-tuning step, requiring direct human "preferences," which are not commonly used in optimizing autonomous driving models. In this research, we innovatively combine RLHF and LLMs to enhance autonomous driving safety. Training a model with human guidance from scratch is inefficient. Our framework starts with a pre-trained autonomous car agent model and implements multiple human-controlled agents, such as cars and pedestrians, to simulate real-life road environments. The autonomous car model is not directly controlled by humans. We integrate both physical and physiological feedback to fine-tune the model, optimizing this process using LLMs. This multi-agent interactive environment ensures safe, realistic interactions before real-world application. Finally, we will validate our model using data gathered from real-life testbeds located in New Jersey and New York City.

연구 동기 및 목표

• 프레임 단위로 인간의 선호도 피드백을 제공하는 것이 비현실적인 자율주행 분야에 RLHF를 적용하는 데 발생하는 격차를 해소하기 위해.
• 다중 에이전트 환경에서 인간 주행 에이전트와 보행자를 시뮬레이션함으로써 자율주행차 훈련의 안전성과 현실성 향상을 위해.
• 인간 운전사로부터의 물리적(예: 조향, 브레이킹) 및 생리적(예: 심박수, 시선) 피드백을 통합하여 인간의 선호도를 모델링하기 위해.
• LLM을 활용해 다중 모odal 인간 피드백을 해석하고 스케일러블한 훈련을 위한 합성 인간 행동을 생성하기 위해.
• 뉴저지와 뉴욕 시티의 테스트베드에서 확보한 실세계 데이터를 활용해 프레임워크를 검증하고 시뮬레이션에서 실제 환경으로의 전이를 가능하게 하기 위해.

제안 방법

• 사전 학습된 정책를 기반으로 한 자율주행차 에이전트를 훈련하고, 시뮬레이션 중 수집된 인간 피드백을 활용해 RLHF를 통해 미세조정한다.
• 물리적 컨트롤러(조향 휠, 페달)와 웨어러블 센서(생리 신호용 Empatica, 시선 추적용 Adhawk)를 사용해 인간 운전사를 통합한다.
• VR 헤드셋과 라즈베리 파이 카메라를 활용해 몰입감 있는 환경 상호작용과 실시간 인간 반응을 기록한다.
• 다중 모달 센서 데이터를 해석하고 RLHF 루프에 활용 가능한 선호도 신호로 변환하기 위해 LLM 에이전트(GPT-4 등)를 활용한다.
• LLM 기반 행동 클로닝을 통해 여러 인간 에이전트(운전자 및 보행자)를 시뮬레이션함으로써 상호작용의 다양성과 현실성을 향상시킨다.
• 뉴욕 시티와 뉴저지 테스트베드에서 확보한 실세계 도로 데이터를 CARLA 시뮬레이션에 가져와 교차 검증 및 실세계 정렬을 수행한다.

Figure 1. Overview of our human-centric multi-agent LLM-enhanced RLHF system framework. During the fine-tuning of an autonomous car model, human agents and proliferated LLM agents mimicking multiple human behaviors are incorporated into the environment to align with real-world human preferences.

실험 결과

연구 질문

• RQ1 직접적인 선호도 레이블링 대신 다중 모달 센서 피드백을 통해 인간의 선호도를 모델링함으로써 RLHF가 자율주행에 효과적으로 적용될 수 있는가?
• RQ2 물리적 및 생리적 피드백을 통합함으로써 자율주행차의 의사결정에서 안전성과 현실성이 얼마나 향상되는가?
• RQ3 LLM이 얼마나 다양한 인간 주행 행동을 시뮬레이션하여 다중 에이전트 시뮬레이션 환경에서의 훈련을 향상시킬 수 있는가?
• RQ4 실세계 테스트베드 데이터를 시뮬레이션에 통합함으로써 훈련된 자율주행 정책의 강건성과 일반화 능력은 어떻게 향상되는가?
• RQ5 다양한 수준의 인간 운전 기량이 RLHF 프레임워크의 성능과 학습 효율성에 미치는 영향은 어떠한가?

주요 결과

• 프레임워크는 인간 운전사로부터의 물리적 및 생리적 피드백을 성공적으로 RLHF 루프에 통합하여 더 인간 중심적인 정책 학습을 가능하게 하였다.
• LLM 에이전트는 다중 모달 인간 데이터를 효과적으로 해석하고, 추월 및 충돌 회피와 같은 실제 인간 행동을 시뮬레이션함으로써 훈련의 다양성을 향상시켰다.
• GPT-4를 사용한 초기 구현은 CARLA 시뮬레이션에서 충돌 회피 및 사용자 지원 기능을 포함해 LLM 기반 행동 모방 및 안내 기능을 기능적으로 보여주었다.
• 뉴욕 시티와 뉴저지 테스트베드에서 확보한 실세계 도로 데이터가 성공적으로 CARLA 시뮬레이션에 임포트되어 검증 및 도메인 간 테스트를 수행하였다.
• LLM의 확산을 통해 인간 에이전트의 스케일러블한 시뮬레이션을 가능하게 하여 훈련 중 실제 인간 참가자의 의존도를 감소시켰다.
• 초기 결과는 제안된 시뮬레이션에서 실세계로의 전이 프레임워크의 이론적 타당성과 인프라 준비 상태를 확인하였다.

Figure 2. Simulation room with VR headset, steering controls, and monitors for real-time multimodal data collection and autonomous driving optimization.