[논문 리뷰] Simulation to Scaled City: Zero-Shot Policy Transfer for Traffic Control via Autonomous Vehicles

Kathy Jang, Eugene Vinitsky외 5명|arXiv (Cornell University)|2018. 12. 14.

Traffic control and management참고 문헌 31인용 수 13

한 줄 요약

이 논문은 시뮬레이션에서 실세계 스케일드 시티 테스트베드(UDSSC)로 딥 강화학습 기반 자율주행차 제어기의 제로샷 정책 전이를 입증한다. 상태 및 행동 공간에 노이즈를 주입함으로써 정교한 램프 메트링 행동이 미세조정 없이도 성공적으로 유도됨을 보여주며, 실세계 테스트베드에서 평균 주행 시간을 5% 감소시키고 최대 주행 시간을 22% 감소시켰다. 반면 노이즈가 없는 정책은 일관된 메트링 행동을 재현하지 못해 성능이 열 劣하다.

ABSTRACT

Using deep reinforcement learning, we train control policies for autonomous vehicles leading a platoon of vehicles onto a roundabout. Using Flow, a library for deep reinforcement learning in micro-simulators, we train two policies, one policy with noise injected into the state and action space and one without any injected noise. In simulation, the autonomous vehicle learns an emergent metering behavior for both policies in which it slows to allow for smoother merging. We then directly transfer this policy without any tuning to the University of Delaware Scaled Smart City (UDSSC), a 1:25 scale testbed for connected and automated vehicles. We characterize the performance of both policies on the scaled city. We show that the noise-free policy winds up crashing and only occasionally metering. However, the noise-injected policy consistently performs the metering behavior and remains collision-free, suggesting that the noise helps with the zero-shot policy transfer. Additionally, the transferred, noise-injected policy leads to a 5% reduction of average travel time and a reduction of 22% in maximum travel time in the UDSSC. Videos of the controllers can be found at https://sites.google.com/view/iccps-policy-transfer.

연구 동기 및 목표

• 자율주행차를 위한 딥 강화학습 기반 교통 제어에서 시뮬레이션과 실세계 간 격차를 해소하기 위해.
• 상태 및 행동 공간에 노이즈를 주입함으로써 실세계 환경으로의 제로샷 정책 전이가 향상되는지 평가하기 위해.
• 시뮬레이션에서 유도된 램프 메트링 행동의 전이 가능성 검증을 위해 델라웨어 대학교의 스케일드 스마트시티(UDSSC) 테스트베드를 활용한다.
• 노이즈 주입 정책이 혼합 자율주행 교통 환경에서 주행 시간을 줄이고 교통 흐름을 향상시키는 데 기여하는 성능 향상을 정량화하기 위해.
• 노이즈를 통한 도메인 랜덤라이제이션의 역할을 분석하여 시뮬레이션에서 실세계로의 정책 일반화 능력을 향상시키는 데 기여하는지 탐구하기 위해.

제안 방법

• Flow라는 마이크로시뮬레이터용 딥 강화학습 라이브러리를 사용하여 상태 및 행동 공간에 노이즈를 주입한 정책과 주입하지 않은 정책을 각각 훈련시었다.
• 시뮬레이션에서 차량 역학을 위해 인텔리전트 드라이버 모델(IDM)을 사용하였으며, 실세계의 불확실성을 모사하기 위해 노이즈를 추가하였다.
• 상태 및 행동 공간의 노이즈를 통해 도메인 랜덤라이제이션을 적용하여 정책의 시뮬레이션-실세계 분포 이격에 대한 강건성을 향상시켰다.
• 훈련된 정책을 미세조정 또는 재훈련 없이 직접 UDSSC 테스트베드로 전이하였다.
• 램프 메트링 행동의 일관성과 평균 및 최대 주행 시간과 같은 지표를 기반으로 정책 성능을 평가하였다.
• 비디오 및 정성적 분석을 활용하여 실세계 환경에서 전이된 정책의 행동 충실도를 평가하였다.

실험 결과

연구 질문

• RQ1 상태 및 행동 공간에 노이즈를 주입함으로써 시뮬레이션에서 실세계 교통 제어로의 제로샷 정책 전이가 향상되는가?
• RQ2 시뮬레이션에서 훈련된 딥 강화학습 정책이 미세조정 없이 실세계 스케일드 시티 환경에서 자율주행차를 성공적으로 조율할 수 있는가?
• RQ3 노이즈 주입 정책이 실세계 테스트에서 평균 및 최대 주행 시간과 같은 교통 효율성 지표에 미치는 영향은 무엇인가?
• RQ4 노이즈가 없는 경우 실세계 전이에서 유도된 램프 메트링 행동의 일관성과 신뢰성은 어떻게 영향을 받는가?
• RQ5 노이즈 주입이 시뮬레이션-실세계 격차를 해소하는 데 기여하는 도메인 랜덤라이제이션을 얼마나 효과적으로 가능하게 하는가?

주요 결과

• 노이즈 주입 정책은 UDSSC로 성공적으로 전이되었으며, 일관되게 수용 가능한 램프 메트링 행동을 보였지만, 노이즈 없는 정책은 일관성 있게 이를 수행하지 못했다.
• 노이즈 주입 정책은 실세계 테스트베드에서 평균 주행 시간을 5% 감소시키고 최대 주행 시간을 22% 감소시켰다.
• 노이즈 없는 정책은 평균 주행 시간을 향상시키지 못했으며, 최대 주행 시간만 14% 감소시켜 전이 성능가 낮음을 시사했다.
• 노이즈 주입 정책은 마찰, 지연, 질량 불일치와 같은 실세계 역학에 대해 강건성을 보였으며, 이는 모델 불확실성을 고려한 학습을 했음을 시사한다.
• 노이즈 추가로 시뮬레이션에서 효과적인 상태 공간이 확장되어 실세계 상태 분포와의 겹침이 증가하였고, 이는 성공적인 도메인 랜덤라이제이션을 가능하게 하였다.
• 결과적으로, 저차원의 비시각 기반 로봇 제어 작업에서 작은 양의 상태 및 행동 공간 노이즈만으로도 효과적인 제로샷 정책 전이가 가능하다는 것이 제안된다.