[논문 리뷰] Automated Lane Change Decision Making using Deep Reinforcement Learning in Dynamic and Uncertain Highway Environment

Ali Alizadeh, Majid Moghadam외 4명|arXiv (Cornell University)|2019. 09. 18.

Autonomous Vehicle Technology and Safety참고 문헌 19인용 수 5

한 줄 요약

이 논문은 소음이 있는 센서 데이터와 적응형 차량 역학을 갖춘 현실적인 시뮬레이션에서 훈련된, 동적인 불확실한 고속도로 환경에서 자동 차선 변경을 위한 딥 강화학습(DRL) 에이전트를 제안한다. DRL 에이전트는 불확실성 하에서 안전성과 내성에 있어 룰 기반 MOBIL 알고리즘을 능가하며, MOBIL이 실패하는 소음이 있는 시나리오에서도 충돌이 없이 작동하여 더 뛰어난 적응성과 실제 적용 가능성과 함께 입증된다.

ABSTRACT

Autonomous lane changing is a critical feature for advanced autonomous driving systems, that involves several challenges such as uncertainty in other driver's behaviors and the trade-off between safety and agility. In this work, we develop a novel simulation environment that emulates these challenges and train a deep reinforcement learning agent that yields consistent performance in a variety of dynamic and uncertain traffic scenarios. Results show that the proposed data-driven approach performs significantly better in noisy environments compared to methods that rely solely on heuristics.

연구 동기 및 목표

• 예측할 수 없는 인간 운전 차량이 존재하는 동적인 불확실한 고속도로 교통 환경에서 안전하고 민첩한 차선 변경의 과제를 해결한다.
• 센서 노이즈와 불확실한 관측치 하에서 성능이 저하되는 룰 기반 방법(예: MOBIL)의 한계를 극복한다.
• 차량 역학, 적응형 크루즈 콘트롤(IDM), 안전한 차선 변경 논리(MOBIL)를 모두 반영한 현실적인 시뮬레이션 환경을 설계하여 내성적인 DRL 에이전트를 훈련시킨다.
• 불확실성과 동적인 환경에서의 일반화 능력 향상을 위해 확률적이고 동적인 환경에서 DRL 에이전트를 훈련시킨다.
• 불확실한 환경에서 훈련된 DRL 에이전트가 이상화된 정적 설정에서 훈련된 에이전트보다 더 잘 일반화됨을 입증한다.

제안 방법

• 전체 차량 역학을 포함한 설정 가능한 시뮬레이션 환경을 설계하여 종방향 제어에는 IDM를, 횡방향 의사결정에는 MOBIL을 적용한다.
• 상대 위치와 속도 측정의 실제 불확실성을 반영하기 위해 제어된 수준의 센서 노이즈(±5%, ±15%)를 도입한다.
• 주변 차량의 점유 격자와 상대 운동학적 정보를 기반으로 한 상태 표현을 사용하여 딥 Q 네트워크(DQN)를 활용해 DRL 에이전트를 훈련시킨다.
• 안전성(충돌 회피), 진전도(예상도착시간 감소), 쾌적성(부드러운 가속/감속)을 균형 있게 고려한 보상 함수를 정의한다.
• 두 에이เจント을 훈련시킨다: 하나는 동적이고 확률적인 환경에서 소음 있는 관측치를 갖는 환경에서, 다른 하나는 동적 요소가 없는 정적 환경에서.
• 모든 자율 주행 에이전트가 IDM과 MOBIL을 사용하는 벤치마크 시나리오를 활용하여 성능을 검증함으로써 공정한 비교를 확보한다.

실험 결과

연구 질문

• RQ1 DRL 에이전트가 동적이고 불확실한 환경에서 훈련된 경우, 센서 노이즈 하에서 룰 기반 MOBIL 알고리즘과 비교해 어떻게 성능을 내는가?
• RQ2 DRL 에이전트는 재훈련 없이도 더 높은 수준의 불확실성(예: ±15% 노이즈)에 일반화할 수 있는가?
• RQ3 실제 주행 차량 행동을 반영한 동적 환경에서 훈련한 것이 이상화된 정적 환경에서 훈련한 것보다 내성에 뛰어난가?
• RQ4 불확실성 하에서 DRL 에이전트의 성능은 MOBIL과 안전성(충돌 수)과 효율성(도착까지 소요 시간) 측면에서 어떻게 비교되는가?
• RQ5 MOBIL이 실패하는 고위험 교통 상황에서 DRL 에이전트는 얼마나 잘 복구되는가?

주요 결과

• 동적이고 중간 수준의 노이즈 환경에서 훈련된 에이전트 I는 고수준 노이즈(±15%) 하에서 MOBIL의 정규화된 평균 보상의 120%를 기록했으며, 평균 보상은 1006±205이었고, 모든 충돌을 피함.
• 중간 수준 노이즈 하에서 100 에피소드 동안 DRL 에이전트는 MOBIL과 유사한 평균 보상을 기록했지만 충돌이 없었고, MOBIL은 8회의 충돌을 기록함.
• DRL 에이전트는 불확실성에 대한 내성성을 입증함: MOBIL에 비해 노이즈 하에서 성능 저하가 덜 발생함.
• 정적 환경에서 훈련된 에이전트 II는 모든 설정에서 성능이 열 劣하였으며, 특히 고수준 노이즈 하에서 MOBIL의 정규화된 보상의 58%에 그침.
• 시뮬레이션 환경은 다수의 에이전트가 독립적으로 차선과 속도를 변경하는 복잡하고 현실적인 교통 시나리오를 성공적으로 생성하여 효과적인 DRL 훈련을 가능케 함.
• 확률적이고 동적인 환경에서의 훈련은 이상화된 결정론적 설정에서의 훈련보다 실세계 일반화 능력이著しく 향상됨.