[논문 리뷰] Exploring applications of deep reinforcement learning for real-world autonomous driving systems

Victor Talpaert, Ibrahim Sobh외 5명|arXiv (Cornell University)|2019. 01. 06.

Autonomous Vehicle Technology and Safety인용 수 6

한 줄 요약

이 논문은 실세계 자율주행 시스템에 딥 강화학습(DRL)을 적용하는 것을 탐구하며, DRL을 안전 메커니즘과 다중 센서 융합과 통합하는 프레임워크를 제안한다. 복잡한 주행 환경에서 안전 기반 제어와 메타학습을 DRL과 융합함으로써 효율적이고 강건하며 안전한 정책 학습이 가능함을 입증한다.

ABSTRACT

Deep Reinforcement Learning (DRL) has become increasingly powerful in recent years, with notable achievements such as Deepmind's AlphaGo. It has been successfully deployed in commercial vehicles like Mobileye's path planning system. However, a vast majority of work on DRL is focused on toy examples in controlled synthetic car simulator environments such as TORCS and CARLA. In general, DRL is still at its infancy in terms of usability in real-world applications. Our goal in this paper is to encourage real-world deployment of DRL in various autonomous driving (AD) applications. We first provide an overview of the tasks in autonomous driving systems, reinforcement learning algorithms and applications of DRL to AD systems. We then discuss the challenges which must be addressed to enable further progress towards real-world deployment.

연구 동기 및 목표

• 모의 환경에서의 DRL 연구와 실세계 자율주행 시스템 구현 사이의 격차를 메우기 위해.
• 안전성, 데이터 효율성, 재현 가능성과 같은 핵심 과제를 특정하여 DRL을 위한 자동차에 적용하기 위해.
• 실제 알고리즘적 및 아키텍처적 통찰을 통해 엔드 투 엔드 및 모듈러 주행 시스템에서 DRL의 사용을 촉진하기 위해.
• 메타학습과 이식 학습을 통한 표준화된 벤치마크 및 일반화 향상을 통해 DRL의 표준화를 주장하기 위해.
• DRL을 활용해 동적이고 실세계적인 교통 상황에서 안전하고 적응력 있으며 효율적인 의사결정을 가능하게 하기 위해.

제안 방법

• SafeDAgger와 같은 안전 메커니즘을 DRL에 통합하여 전문가의 지속적인 질의 없이 정책 이탈을 예측한다.
• 연속 제어 작업에서 충돌 회피를 위해 DDPG와 인공 잠재력장(artificial potential fields)을 융합한다.
• 제약 조건이 있는 MDP에서 Negative-Avoidance Function을 적용하여 훈련 중에 생존을 우선시하고 위험한 상태를 피한다.
• Reptile와 MAML과 같은 메타학습 기법을 활용하여 소량의 예시로도 새로운 주행 상황에 신속히 적응할 수 있도록 한다.
• 센서 장애 시험과 다중 모odal 융합(카메라, 라이다, 레이더)을 통해 부분적 센서 실패 상황에서도 강건성을 향상시킨다.
• 인식, 계획, 제어가 분리된 모듈러 아키텍처를 제안하여 DRL을 활용한 태스크 특화 정책 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 DRL은 시뮬레이션을 넘어서 실세계 자율주행 시스템에 어떻게 효과적으로 적용될 수 있는가?
• RQ2 충돌을 방지하고 신뢰할 수 있는 행동을 보장하기 위해 DRL에 어떤 안전 메커니즘이 통합될 수 있는가?
• RQ3 DRL 정책은 센서 장애나 노이즈가 많은 환경에서도 어떻게 강건성을 확보할 수 있는가?
• RQ4 메타학습은 데이터 효율성을 향상시키고 새로운 주행 상황에 대한 신속한 적응을 가능하게 할 수 있는가?
• RQ5 DRL의 재현 가능성과 일반화를 저해하는 주요 과제는 무엇인가?

주요 결과

• DDPG에 인공 잠재력장을 적용한 안전 기반 제어와의 융합은 동적 환경에서 충돌 회피 능력과 성능을 크게 향상시킨다.
• Negative-Avoidance Function은 DRL 에이전트가 위험한 상태를 피하고 국소 최적해에서 벗어나도록 하여 보상 설계에 대한 민감도를 감소시킨다.
• SafeDAgger는 전문가의 지속적인 질의 없이도 전문가 행동에서의 이탈을 예측함으로써 안전한 정책 배포를 가능하게 한다.
• Reptile와 같은 메타학습 접근법은 소량의 데이터로도 DRL 에이전트가 새로운 주행 작업에 신속히 적응할 수 있도록 하여 일반화 능력을 향상시킨다.
• 센서 장애 시험과 다중 모달 융합은 부분적 센서 실패 상황에서의 성능 저하를 줄여 실세계 조건에서의 강건성을 향상시킨다.
• 진전이 있었음에도 불구하고, 환경과 알고리즘의 비결정성으로 인해 재현성이 여전히 주요 문제로 남아 있으며, 표준화된 벤치마크의 필요성을 강조한다.