[논문 리뷰] Optimizing Mixed Autonomy Traffic Flow With Decentralized Autonomous Vehicles and Multi-Agent RL

Eugene Vinitsky, Nathan Lichtlé외 2명|arXiv (Cornell University)|2020. 10. 30.

Traffic control and management참고 문헌 24인용 수 9

한 줄 요약

이 논문은 자율주행차(AV)가 두 단계의 병목(예: 샌프란시스코-오크랜드 베이 브리지)에서 교통 흐름을 최적화하기 위해 탈중앙화된 다중에이전트강화학습(MARL) 프레임워크를 제안한다. 중앙집중식 조율 없이 국소 센서만을 사용함에도 불구하고, 40%의 AV 침투율에서 최대 33% 높은 흐름을 달성하며, 수작업으로 튜닝된 피드백 컨트롤러를 능가하고 고정식 신호등의 성능과도 맞먹는다. 다만 고침투율에서 학습의 불안정성이 발생한다.

ABSTRACT

We study the ability of autonomous vehicles to improve the throughput of a bottleneck using a fully decentralized control scheme in a mixed autonomy setting. We consider the problem of improving the throughput of a scaled model of the San Francisco-Oakland Bay Bridge: a two-stage bottleneck where four lanes reduce to two and then reduce to one. Although there is extensive work examining variants of bottleneck control in a centralized setting, there is less study of the challenging multi-agent setting where the large number of interacting AVs leads to significant optimization difficulties for reinforcement learning methods. We apply multi-agent reinforcement algorithms to this problem and demonstrate that significant improvements in bottleneck throughput, from 20\% at a 5\% penetration rate to 33\% at a 40\% penetration rate, can be achieved. We compare our results to a hand-designed feedback controller and demonstrate that our results sharply outperform the feedback controller despite extensive tuning. Additionally, we demonstrate that the RL-based controllers adopt a robust strategy that works across penetration rates whereas the feedback controllers degrade immediately upon penetration rate variation. We investigate the feasibility of both action and observation decentralization and demonstrate that effective strategies are possible using purely local sensing. Finally, we open-source our code at https://github.com/eugenevinitsky/decentralized_bottlenecks.

연구 동기 및 목표

• 최소한의 인프라를 요구하는 혼합 자율주행 환경에서 탈중앙화된 제어 정책을 설계하기 위해 다중에이전트강화학습을 사용하는 것.
• 지연된 보상과 어려운 책임 할당 조건이 존재하는 대규모 다중에이전트 환경에서 MARL의 효과성을 평가하는 것.
• 모든 거시적 교통 데이터에 접근하지 못하는 상황에서도 국소 센서만으로 효과적인 제어를 달성할 수 있는지 조사하는 것.
• 학습된 MARL 정책을 수작업으로 설계된 피드백 컨트롤러와 비교하고 다양한 AV 침투율에서의 내구성 평가하는 것.
• 개방형 교통망에서 나시 균형과 사회적 최적 상태 간의 일치 여부를 탐구하고 이를 조율하는 방법을 제안하는 것.

제안 방법

• 샌프란시스코-오크랜드 베이 브리지의 병목을 단순화한 시뮬레이션을 사용하며, 네 개의 차선이 두 개로 줄어들고 다시 한 개로 줄어든다.
• 각 AV가 독립적으로 행동하며 국소 관측치와 행동을 기반으로 독립적인 Q-학습을 사용하는 다중에이전트강화학습 환경을 적용한다.
• 환경는 집합적 흐름을 기반으로 한 희박하고 지연된 보상이 주어지는 마르코프 결정과정으로 모델링된다.
• 누적 흐름을 최대화하는 데 초점을 맞춰, 경험 재생과 타겟 네트워크를 사용하는 독립적 딥 Q-네트워크(DQN)를 사용해 정책을 학습한다.
• 행동 및 관측의 탈중앙화를 평가하며, 순수하게 국소 센서 조건에서의 성능을 시험한다.
• 개인의 보상 구조를 수정하여 나시 균형을 사회적 복지 최적화와 일치시키는 새로운 전략을 도입한다.

실험 결과

연구 질문

• RQ1 탈중앙화된 다중에이전트강화학습이 혼합 자율주행 교통 환경에서 병목 흐름을 효과적으로 최적화할 수 있는가?
• RQ2 다양한 AV 침투율에서 MARL 기반 컨트롤러의 성능이 수작업으로 설계된 피드백 컨트롤러와 비교해 어떻게 되는가?
• RQ3 전체 교통 상태 정보에 접근하지 못하는 상황에서도 국소 센서만으로 얼마나 효과적인 제어를 달성할 수 있는가?
• RQ4 MARL 정책은 전통적인 피드백 컨트롤러와 달리 AV 침투율 변화에 대해 내구성이 있는가?
• RQ5 보상 설계를 통해 시스템의 나시 균형을 사회적 최적 상태와 일치시킬 수 있는가?

주요 결과

• 5%의 AV 침투율에서, MARL 컨트롤러는 기준 인간 운전 차량 흐름 대비 병목 흐름을 20% 향상시켰다.
• 40% 침투율에서, 흐름 향상은 33%에 이르며, 고정식 신호등의 성능과도 동일하다.
• 다양한 튜닝에도 불구하고 수작업 피드백 컨트롤러는 침투율 변화에 따라 심각하게 성능이 떨어지지만, MARL 정책은 다양한 침투율에서 내구성이 유지된다.
• MARL 정책는 전적으로 국소 센서만을 사용함에도 효과적인 협업을 달성하여, 높은 성능을 내기 위해 거시적 정보가 필수적인 것은 아님을 보여준다.
• 고침투율에서 다중에이전트 Q-학습의 비정적 성향으로 인해 학습의 불안정성이 증가하며, 이는 중앙집중식 크리틱(예: MADDPG 또는 QMIX)이 필요함을 시사한다.
• 초기 결과는 인간 운전자의 차선 변경 행동이 컨트롤러 성능을 저하시키며, 이는 AV 간의 협업이 이러한 행동을 방지하기 위해 필요함을 시사한다.