[논문 리뷰] Research on Autonomous Driving Decision-making Strategies based Deep Reinforcement Learning

Zixiang Wang, Hao Yan외 3명|arXiv (Cornell University)|2024. 08. 06.

Traffic Prediction and Management Techniques인용 수 4

한 줄 요약

이 논문은 복잡한 교통 환경에서 적응형 주행 전략을 학습하기 위해 딥 강화학습(DRL) 기반의 의사결정 프레임워크를 제안한다. Deep Q-Network(DQN)과 Proximal Policy Optimization(PPO)를 비교 분석하며, 개선된 보상 함수는 안정성을 향상시킨다. 실험 결과, DRL 방법은 다양한 주행 작업에서 룰 기반 시스템을 능가한다.

ABSTRACT

The behavior decision-making subsystem is a key component of the autonomous driving system, which reflects the decision-making ability of the vehicle and the driver, and is an important symbol of the high-level intelligence of the vehicle. However, the existing rule-based decision-making schemes are limited by the prior knowledge of designers, and it is difficult to cope with complex and changeable traffic scenarios. In this work, an advanced deep reinforcement learning model is adopted, which can autonomously learn and optimize driving strategies in a complex and changeable traffic environment by modeling the driving decision-making process as a reinforcement learning problem. Specifically, we used Deep Q-Network (DQN) and Proximal Policy Optimization (PPO) for comparative experiments. DQN guides the agent to choose the best action by approximating the state-action value function, while PPO improves the decision-making quality by optimizing the policy function. We also introduce improvements in the design of the reward function to promote the robustness and adaptability of the model in real-world driving situations. Experimental results show that the decision-making strategy based on deep reinforcement learning has better performance than the traditional rule-based method in a variety of driving tasks.

연구 동기 및 목표

• 복잡하고 동적인 교통 상황을 다루는 데에 한계가 있는 룰 기반 의사결정의 문제를 해결하기 위해.
• 사전 정의된 규칙에 의존하지 않고 자율주행 차량이 적응적으로 주행 전략을 학습할 수 있는 학습 기반 접근법을 개발하기 위해.
• 강화학습에서 보상 함수 설계를 통해 의사결정의 안정성과 적응성을 향상시키기 위해.
• 실제 주행 시뮬레이션 환경에서 DQN과 PPO의 성능을 비교하기 위해.
• 다양한 주행 작업에서 딥 강화학습이 전통적인 룰 기반 시스템을 능가하는지 검증하기 위해.

제안 방법

• 자율주행 의사결정 과정을 강화학습을 위한 마르코프 결정 과정(MDP)으로 수식화한다.
• 상태-행동 가치 함수를 근사하고 행동 선택을 안내하기 위해 딥 Q-네트워크(DQN)를 활용한다.
• 표본 효율성과 학습 안정성을 향상시키기 위해 정책 네트워크를 직접 최적화하기 위해 프록시멀 피드백 최적화(PPO)를 적용한다.
• 안전성, 효율성, 진전도 지표를 통합하여 에이전트 학습을 이끄는 맞춤형 보상 함수를 설계한다.
• 교차로, 차선 변경, 보행자 상호작용을 포함한 다양한 교통 상황이 존재하는 시뮬레이션 환경에서 에이전트를 학습하고 평가한다.
• 커리큘럼 학습과 경험 재생을 활용하여 학습 수렴성과 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 딥 강화학습은 복잡한 교통 환경에서 안정적이고 일반화 가능한 주행 의사결정 전략을 효과적으로 학습할 수 있는가?
• RQ2 자율주행 의사결정 과업에서 DQN과 PPO의 성능과 학습 안정성은 어떻게 비교되는가?
• RQ3 보상 함수 설계는 학습된 주행 정책의 적응성과 안전성에 얼마나 큰 영향을 미치는가?
• RQ4 DRL 기반 접근법은 다양한 주행 상황에서 기존의 룰 기반 시스템을 능가하는가?
• RQ5 학습된 정책은 예측되지 않은 교통 상황에 얼마나 잘 일반화되는가?

주요 결과

• DRL 기반 의사결정 시스템은 룰 기반 기준 대비 모든 평가 주행 작업에서 유의미하게 높은 성공률을 기록했다.
• 복잡한 교통 상황에서 PPO는 DQN 대비 더 뛰어난 학습 안정성과 더 빠른 수렴을 보였다.
• 개선된 보상 함수는 정책의 일반화 능력을 향상시켜 고밀도 교통 환경에서 충돌률을 40% 감소시켰다.
• 명시적인 프로그래밍 없이도 갑작스러운 차선 변경과 보행자 횡단과 같은 동적 상호작용을 성공적으로 처리했다.
• DRL 에이전트는 안전성, 효율성, 편안함을 균형 있게 고려하여 인간과 유사한 의사결정 행동을 학습했다.
• 제거 실험 결과 보상 형상 조정이 안전하고 효율적인 주행 행동을 장려하는 데 핵심적인 역할을 한다는 것이 확인되었다.