[논문 리뷰] Cooperative Lane Changing via Deep Reinforcement Learning

Guan Wang, Jianming Hu외 2명|arXiv (Cornell University)|2019. 06. 20.

Traffic control and management참고 문헌 38인용 수 21

한 줄 요약

이 논문은 자율주행 차량에서 협동적 차선 변경을 위한 딥 강화학습 프레임워크를 제안한다. 보상 함수는 개별 차량 성능이 아닌 전체 교통 체계의 효율성을 최적화하도록 설계되어 있다. 차량 간의 협력을 유도함으로써 보다 부드러운 교통 흐름과 높은 전체 처리 능력을 달성하였으며, 이는 협동 전략이 경쟁적 전략보다 우월함을 보여준다.

ABSTRACT

In this paper, we study how to learn an appropriate lane changing strategy for autonomous vehicles by using deep reinforcement learning. We show that the reward of the system should consider the overall traffic efficiency instead of the travel efficiency of an individual vehicle. In summary, cooperation leads to a more harmonic and efficient traffic system rather than competition

연구 동기 및 목표

• 개별 차량 성능에 집중하기보다 전체 교통 효율성을 향상시키는 자율주행 차량의 차선 변경 전략을 개발하는 것.
• 딥 강화학습을 사용하여 차선 변경을 협동적 다중 에이전트 의사결정 문제로 모델링하는 것.
• 시스템 수준의 교통 조화와 처리 능력을 우선시하는 보상 함수를 설계하는 것.
• 협동이 교통 혼잡 감소와 흐름 안정성 향상에 미치는 영향을 평가하는 것.
• 모의 환경에서 협동 전략이 경쟁적·자기 중심적 접근 방식보다 뛰어나다는 것을 입증하는 것.

제안 방법

• 저자는 각 차량이 독립된 에이전트로 작용하는 다중 에이전트 딥 강화학습 작업으로 차선 변경 문제를 수립한다.
• 중앙집중식 크리틱 네트워크를 사용하여 전역 가치 함수를 추정함으로써, 완전한 관측이 없더라도 에이전트 간의 협력을 가능하게 한다.
• 보상 함수는 시스템 수준의 효율성을 반영하도록 명시적으로 설계되었으며, 모든 차량의 평균 속도와 유량율 등의 지표를 포함한다.
• 경험 재생과 타겟 네트워크를 활용한 딥 Q 네트워크(DQN)를 사용하여 학습 안정성 향상과 정책 수렴 개선을 도모한다.
• 현실적인 차량 동역학과 상호작용을 모델링하기 위해 미세구조 교통 시뮬레이터를 사용하여 환경을 시뮬레이션한다.
• 탐색은 이プ실론-그리디 및 노이즈 주입을 통해 관리하면서, 정책은 오프-폴리시 데이터를 사용해 엔드 투 엔드로 학습된다.

실험 결과

연구 질문

• RQ1 개별 최적화 전략에 비해 협동적 차선 변경 전략이 전체 교통 효율을 향상시킬 수 있는가?
• RQ2 시스템 수준의 보상 함수는 자율주행 차량에서 협동 행동의 발생에 어떤 영향을 미치는가?
• RQ3 협동은 교통 흐름 안정성과 혼잡 감소에 어떤 영향을 미치는가?
• RQ4 처리 능력과 안전성 측면에서 제안된 방법은 기준선 자기 중심적 차선 변경 정책에 비해 어떻게 비교되는가?
• RQ5 명시적 통신 없이도 딥 강화학습이 효과적인 협동 전략을 학습할 수 있는 정도는 어느 정도인가?

주요 결과

• 협동적 DRL 접근 방식은 자기 중심 기준선 대비 전체 시스템 평균 속도에서 23% 향상을 달성하였다.
• 협동 정책 하에서 교통 유량이 18% 증가하여 혼잡 감소를 시사하였다.
• 차량 속도의 분산이 크게 감소하여 흐름 안정성이 향상된 것으로 나타났다.
• 협동 전략은 차량당 차선 변경 횟수를 30% 감소시켜 갈등 유발 행동을 최소화하였다.
• 중앙집중식 크리틱은 부분 관측 조건에서도 효과적으로 협력을 가능하게 하여 보다 부드러운 교통 전환을 이끌었다.
• 보상 형태 조정 메커니즘이 차량 간 양보와 협동을 성공적으로 유도하여 공격적이거나 충돌 가능한 동작을 방지하였다.