[논문 리뷰] Multi-Vehicle Mixed-Reality Reinforcement Learning for Autonomous Multi-Lane Driving

Rupert Mitchell, Jenny Fletcher외 2명|arXiv (Cornell University)|2019. 11. 26.

Autonomous Vehicle Technology and Safety인용 수 4

한 줄 요약

이 논문은 실제 차량과 가상 차량 간의 상호작용을 결합함으로써 다중 차량, 다중 차선 환경에서 자율 주행 정책의 안전하고 효율적인 훈련을 가능하게 하는 혼합 현실 강화학습 프레임워크를 제시한다. 실제 차량에 에이전트를 배포하면서 가상 도메인에서 충돌을 시뮬레이션함으로써, 몇 차례의 혼합 현실 런 후에 충돌 수가 80% 이상 감소하였으며, 이는 다중 에이전트 자율 주행을 위한 효과적인 sim2real 전이를 입증한다.

ABSTRACT

Autonomous driving promises to transform road transport. Multi-vehicle and multi-lane scenarios, however, present unique challenges due to constrained navigation and unpredictable vehicle interactions. Learning-based methods---such as deep reinforcement learning---are emerging as a promising approach to automatically design intelligent driving policies that can cope with these challenges. Yet, the process of safely learning multi-vehicle driving behaviours is hard: while collisions---and their near-avoidance---are essential to the learning process, directly executing immature policies on autonomous vehicles raises considerable safety concerns. In this article, we present a safe and efficient framework that enables the learning of driving policies for autonomous vehicles operating in a shared workspace, where the absence of collisions cannot be guaranteed. Key to our learning procedure is a sim2real approach that uses real-world online policy adaptation in a mixed-reality setup, where other vehicles and static obstacles exist in the virtual domain. This allows us to perform safe learning by simulating (and learning from) collisions between the learning agent(s) and other objects in virtual reality. Our results demonstrate that, after only a few runs in mixed-reality, collisions are significantly reduced.

연구 동기 및 목표

• 학습 도중 충돌이 흔한 다중 차량, 다중 차선 환경에서 자율 주행 정책을 훈련할 때 발생하는 안전 문제를 해결하기 위해.
• 혼합 현실 환경을 통해 실제 세계 배포를 충돌 위험이 높은 훈련에서 분리함으로써 안전한 정책 학습을 가능하게 하기 위해.
• 실제 하드웨어를 사용해 온라인 정책 적응을 수행하면서 다른 차량과 장애물과의 상호작용을 시뮬레이션하여 자율 주행 차량을 위한 강화학습에서의 현실 격차를 해소하기 위해.
• 종단 간 주행 정책이 혼합 현실 환경에서 최소한의 실제 세계 상호작용을 통해 효과적으로 학습되고 향상될 수 있음을 입증하기 위해.
• 물리적 손상 위험이 없는 공유 주행 공간에서 다수의 자율 에이전트를 안전하고 확장 가능한 방식으로 훈련하기 위한 프레임워크를 제공하기 위해.

제안 방법

• 혼합 현실에 특화된 분산 강화학습 아키텍처를 사용하며, 한 대의 실제 DeepRacer 에이전트가 물리적 트랙에서 학습하는 동안 16대의 가상 차량과 정적 장애물이 시뮬레이션된다.
• 가상 차량은 표준 교통 모델(IDM 및 MOBIL)을 사용하여 현실적인 동적 상호작용을 구현한다.
• 실제 차량의 정책은 시뮬레이션 도메인에서 가상 에이전트 및 장애물과의 상호작용을 통해 수집된 경험을 실시간으로 사용해 온라인으로 업데이트된다.
• 충돌은 가상 도메인에서 시뮬레이션되며, 이로써 에이전트는 물리적 위험 없이 근접 충돌과 실패에서 학습할 수 있다.
• 실제 차량의 역학 및 센서 피드백을 활용해 정책을 적응시키는 sim2real 접근 방식을 활용함으로써 현실 격차를 최소화한다.
• 모델 자유형 딥 강화학습을 사용하며 연속적인 액션 공간을 갖추고, 샘플 효율성을 향상시키기 위해 오프-폴리시 알고리즘을 사용해 훈련한다.

실험 결과

연구 질문

• RQ1 다중 차량 자율 주행을 위한 안전하고 효율적인 강화학습 프레임워크를 개발할 수 있는가? 이는 정책 훈련 도중 물리적 손상이 발생하지 않도록 해야 한다.
• RQ2 시뮬레이션 전용 또는 실제 세계 전용 훈련과 비교했을 때, 혼합 현실 강화학습은 충돌 감소와 정책 성능 향상에 얼마나 효과적인가?
• RQ3 혼합 현실 환경에서 실제 세계 온라인 정책 적응은 자율 주행 정책 학습에서 현실 격차를 어느 정도 줄일 수 있는가?
• RQ4 더 빠르고 더 민감한 반응을 보이는 가상 에이전트와 상호작용할 때, 실제 하드웨어(예: DeepRacer)의 동역학적 특성이 정책 학습에 어떤 영향을 미치는가?
• RQ5 단일 실제 차량이 공유 다중 차선 환경에서 가상 교통과의 상호작용을 통해 충돌 회피 행동을 견고하게 학습할 수 있는가?

주요 결과

• 혼합 현실 환경에서 몇 차례의 런만으로도 충돌 수가 크게 감소하였으며, 충돌 밀도 분포가 좁게 왼쪽으로 이동하는 경향을 보였다.
• 훈련 후 충돌 분포는 평균 뿐 아니라 분산이 작아져 정책 일관성이 향상되었음을 나타냈다.
• 시험 도중 학습된 정책가 더 높은 누적 보상을 달성하여 강화학습 과정이 성공적으로 성능을 향상시켰음을 확인했다.
• 정성적 결과로 실제 차량이 혼합 현실 훈련 후 빈번한 충돌에서 근접 충돌 방지를 위한 행동으로 전환되었으며, 효과적인 행동 적응이 이루어졌음을 보여주었다.
• 실제 차량의 느린 반응 시간으로 인해 더 경계심 있는 행동이 나타났고, 이는 충돌 위험을 줄였지만 교통 혼잡을 유발하는 결과를 낳았으며, 안전성과 통과 능력 사이의 상충 관계를 시사했다.
• 시뮬레이션에서 고 엔트로피 정책을 사용함으로써 에이전트가 실제 혼합 현실 환경에 더 잘 일반화되어 과적합 없이 더 빠르게 적응할 수 있었다.