[논문 리뷰] Guided Policy Search Model-based Reinforcement Learning for Urban Autonomous Driving

Zhuo Xu, Jianyu Chen외 1명|arXiv (Cornell University)|2020. 05. 06.

Transportation and Mobility Innovations참고 문헌 21인용 수 8

한 줄 요약

이 논문은 도시 자율 주행에서 샘플 효율성과 내성 강도를 향상시키기 위해 가이드드 정책 탐색(Guided Policy Search, GPS)을 사용하는 모델 기반 강화 학습 방법을 제안한다. 환경 동역학의 가우시안 믹스처 모델(Gaussian Mixture Model, GMM)을 학습하고, 제약 조건이 있는 이중 경사 하강법을 통해 정책을 최적화함으로써, 모델 자유형 방법(SAC)에 비해 100배 높은 샘플 효율성을 달성하며, 장애물 회피 및 차선 변경과 같은 복잡한 작업에 대해 기준 방법이 해결하지 못한 문제를 성공적으로 해결한다.

ABSTRACT

In this paper, we continue our prior work on using imitation learning (IL) and model free reinforcement learning (RL) to learn driving policies for autonomous driving in urban scenarios, by introducing a model based RL method to drive the autonomous vehicle in the Carla urban driving simulator. Although IL and model free RL methods have been proved to be capable of solving lots of challenging tasks, including playing video games, robots, and, in our prior work, urban driving, the low sample efficiency of such methods greatly limits their applications on actual autonomous driving. In this work, we developed a model based RL algorithm of guided policy search (GPS) for urban driving tasks. The algorithm iteratively learns a parameterized dynamic model to approximate the complex and interactive driving task, and optimizes the driving policy under the nonlinear approximate dynamic model. As a model based RL approach, when applied in urban autonomous driving, the GPS has the advantages of higher sample efficiency, better interpretability, and greater stability. We provide extensive experiments validating the effectiveness of the proposed method to learn robust driving policy for urban driving in Carla. We also compare the proposed method with other policy search and model free RL baselines, showing 100x better sample efficiency of the GPS based RL method, and also that the GPS based method can learn policies for harder tasks that the baseline methods can hardly learn.

연구 동기 및 목표

• 도시 자율 주행에서 애자일 학습과 모델 자유형 강화 학습의 낮은 샘플 효율성과 낮은 이식성 문제를 해결하기 위해.
• 고차원적이고 상호작용적인 도시 주행 환경에서 정책 학습의 안정성과 해석 가능성 향상을 위해.
• 기본 방법이 어려운 장애물 회피 및 능동적 차선 변경과 같은 복잡한 주행 행동을 학습할 수 있도록 하기 위해.
• 학습된 동역학을 활용하여 효율적이고 내성적인 정책 최적화를 위한 모델 기반 접근법을 개발하기 위해.
• 시뮬레이션에서 최신 모델 자유형 및 정책 탐색 기준 방법과 비교해 뛰어난 성능과 샘플 효율성을 입증하기 위해.

제안 방법

• 이 방법은 도시 주행의 복잡한 동역학을 근사하기 위해 가우시안 믹스처 모델(Gaussian Mixture Model, GMM)을 사용해 반복적으로 파arameterized 동역학 모델을 학습하는 가이드드 정책 탐색(GPS) 프레임워크를 활용한다.
• 제약 조건이 있는 정책 최적화 문제를 해결하기 위해 이중 경사 하강법을 적용하며, 궤적 변화 크기 제약 조건을 통해 안정성과 수렴성을 확보한다.
• 정책 학습을 안내하기 위해 GMM 기반 환경 모델을 사용함으로써, 엔드 투 엔드 모델 자유형 접근법에 비해 더 나은 일반화 및 해석 가능성을 확보한다.
• 탐색을 장려하기 위해 정책는 고분산 PD 제어기로 초기화되며, 모델 자유형 기준 방법은 무작위 신경망 초기화를 사용한다.
• 모델 기반 계획과 정책 탐색을 결합함으로써 Carla 시뮬레이터와의 효율적 상호작용과 더 빠른 수렴을 가능하게 한다.
• 이 방법은 장애물 없는 주행과 장애물 영향을 받는 주행 작업, 즉 차선 변경 및 추월과 같은 작업 모두에서 평가된다.

실험 결과

연구 질문

• RQ1 모델 자유형 방법에 비해 모델 기반 강화 학습 접근법이 도시 자율 주행 정책 학습에서 샘플 효율성을 크게 향상시킬 수 있는가?
• RQ2 GPS 기반 방법이 모델 자유형 및 정책 탐색 기준 방법이 어려운 활성 차선 변경 및 장애물 회피와 같은 복잡한 작업을 위한 내성적인 주행 정책을 학습할 수 있는가?
• RQ3 GMM 기반 동역학 모델의 해석 가능성과 안정성이 실세계 구현으로의 정책 이식성에 어떻게 기여하는가?
• RQ4 GPS에서의 제약 조건이 있는 정책 최적화가 제약 없거나 히우리스틱 정책 탐색 방법에 비해 수렴성과 성능 향상에 얼마나 기여하는가?
• RQ5 모델 기반 접근법이 도시 환경의 다양한 초기 조건과 주행 시나리오에 대해 일반화할 수 있는가?

주요 결과

• GPS 기반 방법은 약 1,000회의 환경 상호작용 단계(100초의 주행) 내에서 수렴을 달성하였으며, 이는 모델 자유형 SAC 방법에 비해 100배 높은 샘플 효율성을 의미한다. SAC 방법은 수렴하기 위해 100,000단계 이상이 필요했다.
• GPS 정책는 최종 성능로 약 -100,000의 보상을 달성하였으며, CEM 방법이 약 -200,000의 보상을 기록한 것에 비해 뚜렷이 뛰어난 성능을 보였다. CEM 방법은 불안정한 조향 제어와 종종 발생하는 충돌을 보였다.
• GPS 방법은 CEM, IL, 또는 모델 자유형 RL이 이전 또는 현재 실험에서 학습하지 못한 고수준 의사결정 작업인 장애물 차량을 추월하기 위한 능동적 차선 변경에 대해 내성적인 정책을 성공적으로 학습하였다.
• GPS 기반 정책는 안정적인 차선 유지 행동과 효과적인 추월을 보였으며, CEM 기반 정책는 불편한 조향 제어와 빈번한 차선 이탈 또는 충돌 행동을 보였다.
• 장애물 없는 주행과 장애물 영향을 받는 주행 작업 모두에서, CEM 및 SAC와 비교해 모델 기반 접근법이 더 빠른 수렴과 더 높은 최종 성능를 보였다.
• GMM 기반 동역학 모델은 해석 가능하고 안정적인 동역학을 제공하여, 실세계 구현 시나리오로의 빠른 적응과 이식성 지원에 기여하였다.