[논문 리뷰] Autonomous Driving with Deep Reinforcement Learning in CARLA Simulation

Jumman Hossain|arXiv (Cornell University)|2023. 06. 20.

Autonomous Vehicle Technology and SafetyEngineering인용 수 3

한 줄 요약

이 논문은 CARLA 시뮬레이션 환경에서 고속 주행 중 충돌을 방지하면서 차선유지 기능을 수행하는 자율주행차를 훈련하기 위해 딥 Q-네트워크(DQN)-기반 강화학습 접근법을 제안한다. 이 방법은 원시 센서 관측값을 입력으로 사용하며, 엔드 투 엔드 훈련을 통해 정책을 학습하고, 랜덤 기반 기준 대비 68%의 충돌률 감소와 평균 시속 8.71km의 속도를 달 đạt한다. 다양한 날씨 및 교통 조건에서 성능을 확보한다.

ABSTRACT

Nowadays, autonomous vehicles are gaining traction due to their numerous potential applications in resolving a variety of other real-world challenges. However, developing autonomous vehicles need huge amount of training and testing before deploying it to real world. While the field of reinforcement learning (RL) has evolved into a powerful learning framework to the development of deep representation learning, and it is now capable of learning complicated policies in high-dimensional environments like in autonomous vehicles. In this regard, we make an effort, using Deep Q-Learning, to discover a method by which an autonomous car may maintain its lane at top speed while avoiding other vehicles. After that, we used CARLA simulation environment to test and verify our newly acquired policy based on the problem formulation.

연구 동기 및 목표

• 복잡한 고속도로 환경에서 고속 주행을 유지하면서 충돌을 방지할 수 있는 자율주행차를 위한 딥 강화학습 정책을 개발한다.
• CARLA에서 차선유지 및 충돌 회피를 위해 특화된 관측값, 행동, 보상 설정을 설계한다.
• 여러 도시, 날씨 조건, 교통 밀도에서 훈련된 DQN 에이전트의 성능을 평가한다.
• 학습 효과를 검증하기 위해 훈련된 DQN 에이전트(S)를 고정된 무작위 가중치 기반 기준(U)과 비교한다.
• CARLA에서 미리 보지 못한 환경과 시나리오에 대해 DQN 정책의 일반화 능력을 평가한다.

제안 방법

• 에이전트는 원시 카메라 및 LiDAR 유사 센서 관측값을 입력 상태 표현으로 사용하며, 이는 컨볼루션 신경망에 의해 처리된다.
• 경험 재생과 타겟 네트워크 업데이트를 사용하여 DQN을 훈련함으로써 학습 안정성과 시간적 상관관계를 최소화한다.
• 행동 공간은 이산 제어 명령어로 구성되며, 토르크, 브레이크, 조향각을 이산 행동으로 매핑하여 엔드 투 엔드 제어를 구현한다.
• 밀도 높은 보상 함수를 설계하여 20–30 km/h 범위 내 고속 주행을 장려하고, 충돌에는 징벌하며 목표 향한 진전을 보상한다.
• 훈련은 표준 날씨 조건에서 Town04에서 수행되며, 평가는 여덟 개의 도시와 두 가지 날씨 세트(간단 및 어려움)에서 수행된다.
• 성능 평가는 충돌률, 평균 속도, 총 에피소드 보상, 장애 발생 전 터미널 수의 네 가지 지표를 사용한다.

Figure 1: Agent-Environment Interaction in Reinforcement learning

실험 결과

연구 질문

• RQ1 원시 센서 입력만을 사용하여 시뮬레이션된 고속도로 환경에서 DQN 에이전트가 고속·충돌 회피 차선유지 정책을 학습할 수 있는가?
• RQ2 훈련된 DQN 에이전트의 성능이 충돌률, 속도, 보상 측면에서 고정된 무작위 기준 대비 어떻게 다른가?
• RQ3 DQN 정책은 CARLA에서 다양한 도시, 날씨 조건, 교통 밀도에 대해 얼마나 잘 일반화되는가?
• RQ4 보상 설계가 안전하고 고속 주행 행동으로 에이전트를 효과적으로 이끌 수 있는가?
• RQ5 누적 에피소드 보상 측면에서 DQN 훈련 과정의 수렴 행동은 어떠한가?

주요 결과

• 훈련된 DQN 에이전트(S)는 모든 테스트 시나리오에서 68%의 충돌률을 기록했으며, 훈련되지 않은 기준(U)의 96% 충돌률보다 유의미하게 낮았다.
• DQN 에이전트는 테스트 시나리오에서 평균 시속 8.71km를 기록했으며, 훈련되지 않은 기준의 6.10km/h보다 높은 성능을 보였다.
• DQN 에이전트의 총 에피소드 보상 평균은 1954였으며, 훈련되지 않은 기준의 513보다 훨씬 높아 효과적인 정책 학습을 보여주었다.
• DQN 에이전트는 평균 373개의 터미널을 충돌 또는 장애 발생 전까지 유지했으며, 훈련되지 않은 기준의 241개보다 높아 정책 안정성이 뛰어났다.
• 누적 보상 곡선은 약 3000개의 훈련 스텝 이후 상승 추세를 보이며 수렴함을 보여주어 안정적인 정책 학습을 확인했다.
• 정책은 여러 도시(Town01부터 Town10까지), 날씨 프리셋(WetCloudySunset 및 HardRainNoon 포함), 교통 수준(없음, 정상, 빽빽함)에 걸쳐 일반화 능력을 보였다.

Figure 2: Q-table.