[논문 리뷰] A Versatile and Efficient Reinforcement Learning Framework for Autonomous Driving

Guan Wang, Haoyi Niu외 4명|arXiv (Cornell University)|2021. 10. 22.

Reinforcement Learning in Robotics인용 수 4

한 줄 요약

이 논문은 엔드 투 엔드 정책 학습에서 의미적 표현 학습을 분리함으로써 자율주행을 위한 다용도이자 효율적인 강화학습 프레임워크를 제안한다. 경량의 장면 이해 모델을 통해 주행 가능한 영역과 차선 탐지와 같은 정보를 추출한 후, 분산된 오프-폴리시 강화학습 학습을 수행함으로써, 프레임워크는 뛰어난 시뮬레이션에서 실제 환경으로의 일반화 성능을 달성하고, 단일 GPU 워크스테이션에서 학습 시간을 13시간 이내로 단축시키며, 야간 주행 및 복잡한 장애물 회피와 같은 다양한 시나리오에서 견고한 실차 성능을 보여준다.

ABSTRACT

Heated debates continue over the best autonomous driving framework. The classic modular pipeline is widely adopted in the industry owing to its great interpretability and stability, whereas the fully end-to-end paradigm has demonstrated considerable simplicity and learnability along with the rise of deep learning. As a way of marrying the advantages of both approaches, learning a semantically meaningful representation and then use in the downstream driving policy learning tasks provides a viable and attractive solution. However, several key challenges remain to be addressed, including identifying the most effective representation, alleviating the sim-to-real generalization issue as well as balancing model training cost. In this study, we propose a versatile and efficient reinforcement learning framework and build a fully functional autonomous vehicle for real-world validation. Our framework shows great generalizability to various complicated real-world scenarios and superior training efficiency against the competing baselines.

연구 동기 및 목표

• 원시 카메라 입력에서 저차원의 의미적 표현을 학습함으로써 엔드 투 엔드 자율주행에서의 시뮬레이션에서 실제 환경으로의 일반화 격차를 해소한다.
• 모듈러한 파ip라인(예: 오류 누적, 규칙 기반 설계)과 엔드 투 엔드 시스템(예: 취약성, 낮은 해석 가능성)의 한계를 해소하기 위해 하이브리드 접근 방식을 통해 문제를 해결한다.
• 분산된 이벤트 기반 병렬 처리 프레임워크를 활용해 딥 강화학습의 학습 효율성과 확장성을 향상시킨다.
• 다양하고 예측할 수 없는 시나리오에서 물리적 자율주행 차량에서의 프레임워크의 실차 배포 및 검증을 가능하게 한다.
• 의미적 표현 기반 정책을 통해 야간 주행 및 동적 장애물 회피를 포함한 복잡한 환경에서도 높은 자율성과 안전성을 확보한다.

제안 방법

• 원시 카메라 이미지에서 주행 가능한 영역과 차선 경계와 같은 의미적 표현을 추출하기 위해 경량의 장면 이해 모델을 사용하여 표준 입력 공간을 생성한다.
• 표현 학습과 정책 학습을 분리함으로써, 후행되는 강화학습 정책이 압축되고 의미적으로 유의미한 특징에서 작동할 수 있도록 한다.
• 이벤트 기반 병렬 처리를 통한 분산된 오프-폴리시 강화학습 프레임워크를 구현하여 단일 워크스테이션에서의 학습 속도를 가속화한다.
• 환경 수와 액터 수에 따라 효율적으로 스케일링 가능한 탄력적인 스케줄링 기법을 적용하여 일관된 성능 향상을 달성한다.
• 하위 제어를 위한 PID 제어기와 학습된 강화학습 정책를 통합하여 안정적이고 안전한 차량 동역학을 보장한다.
• CycleGAN보다 훈련 시간이 5배 빠르면서도 성능과 정확도에서 뛰어나 컴퓨팅 비용을 감소시킨다.

실험 결과

연구 질문

• RQ1 정책 학습 이전에 의미적 표현을 학습하는 분리된 프레임워크가 자율주행에서 시뮬레이션에서 실제 환경으로의 일반화를 향상시킬 수 있는가?
• RQ2 단일 워크스테이션에서 분산된 오프-폴리시 강화학습을 어떻게 효율적으로 스케일링할 수 있으며, 성능을 희생시키지 않고 학습 시간을 단축시킬 수 있는가?
• RQ3 의미 기반 강화학습 프레임워크가 복잡한 도로 구조나 악조건의 조명 조건을 포함한 예측할 수 없는 실차 시나리오에 얼마나 잘 일반화되는가?
• RQ4 강력한 IL 및 RL 기반 베이스라인과 비교했을 때, 제안된 프레임워크는 실차 자율성 및 안전성 지표에서 어떤 성능을 보이는가?
• RQ5 경량의 의미 인식 기반 인식 모델이 CycleGAN과 같은 도메인 적응 기법보다 효율성과 성능 면에서 뛰어나게 작동할 수 있는가?

주요 결과

• 제안된 프레임워크는 2개의 RTX3090 GPU를 탑재한 단일 워크스테이션에서 총 학습 시간을 12.6시간으로 단축시켰으며, 비분산 기반 베이스라인(87.2시간) 대비 85.6%의 속도 향상을 달성했다.
• 장애물 회피 성공률은 98.3%, 직선 도로에서의 차선 유지 성공률은 96.7%를 기록했으며, 양측 모두 IL 기반 베이스라인보다 자율성과 안전성 면에서 뚜렷한 우월성을 보였다.
• 야간 주행 조건에서는 RL 기반 프레임워크가 높은 성능(장애물 회피 성공률 92.5%)을 유지했지만, IL 기반 베이스라인은 주간 대비 성능이 12.1% 하락했다.
• RL 기반 버전은 더 높은 스티어링 각도 표준편차를 보이며 더 공격적인 장애물 회피를 구현했고, 반면 IL 기반 버전은 자주 장애물과 인도에 충돌했다.
• 훈련 시간이 CycleGAN의 1/5에 불과하면서도 성능 면에서 뛰어나, 더 높은 효율성과 효과성을 입증했다.
• 실차에서의 배포 결과, 고광량 조명 노출, 보도, 붐비는 인파, 차고 등 예측할 수 없는 시나리오에서도 일관된 차선 유지 및 동적 장애물 회피 성능을 보여, 프레임워크의 일반화 능력이 확인되었다.