[논문 리뷰] A Survey of Deep Reinforcement Learning Algorithms for Motion Planning and Control of Autonomous Vehicles

Fei Ye, Shen Zhang외 2명|arXiv (Cornell University)|2021. 05. 29.

Reinforcement Learning in Robotics참고 문헌 72인용 수 6

한 줄 요약

이 종합 검토는 자율주행차 운동 계획 및 제어 분야에서의 딥 강화학습(DRL) 응용을 체계적으로 검토하며, 파이프라인 방식과 엔드 투 엔드 방식을 비교한다. DRL이 인간 레이블이 없는 환경에서 시행착오 학습을 통해 학습할 수 있음을 강조하며, 엔드 투 엔드 방법에서 뛰어난 성능과 컴act한 시스템 설계를 달성했음을 보여주며, 시뮬레이션에서 실제 환경으로의 전이, 일반화 능력 향상, 전문가 데이터 부족 등 주요 과제를 밝히고, 향후 지속적 학습 및 메타학습을 통한 연구 방향을 제시한다.

ABSTRACT

In this survey, we systematically summarize the current literature on studies that apply reinforcement learning (RL) to the motion planning and control of autonomous vehicles. Many existing contributions can be attributed to the pipeline approach, which consists of many hand-crafted modules, each with a functionality selected for the ease of human interpretation. However, this approach does not automatically guarantee maximal performance due to the lack of a system-level optimization. Therefore, this paper also presents a growing trend of work that falls into the end-to-end approach, which typically offers better performance and smaller system scales. However, their performance also suffers from the lack of expert data and generalization issues. Finally, the remaining challenges applying deep RL algorithms on autonomous driving are summarized, and future research directions are also presented to tackle these challenges.

연구 동기 및 목표

• 자율주행차 운동 계획 및 제어 분야에서의 딥 강화학습(DRL) 응용에 대한 종합적인 검토를 제공하기 위해.
• 자율주행 시스템에서 파이프라인 대비 엔드 투 엔드 DRL 접근 방식의 성능, 확장성 및 한계를 비교하기 위해.
• 실제 자율주행에 DRL를 적용할 때의 주요 과제를 특정화하기 위해, 특히 시뮬레이션에서 실제 환경으로의 전이 및 데이터 효율성 문제를 중심으로.
• 지속적 학습 및 메타학습을 포함한 향후 연구 방향을 탐색하여 DRL 에이전트의 일반화 능력과 적응 능력을 향상시키기 위해.

제안 방법

• 기존의 DRL 기반 운동 계획 및 제어 방법을 계층적(파이프라인) 및 엔드 투 엔드 프레임워크로 분류한다.
• 검토된 연구에서 상태 공간, 행동 공간, 보상 함수 설계에 대한 특정 DRL 알고리즘을 분석한다.
• 도메인 랜덤라이제이션 및 적응 기법을 사용하여 시뮬레이션과 실제 환경 간의 전이 성능을 평가한다.
• 샘플 효율성 향상과 정책 일반화 향상을 위해 이민 학습 및 보상 함수 설계 기법을 검토한다.
• 지속적 학습 및 메타학습을 통해 새로운 주행 시나리오에 신속히 적응할 수 있도록 하는 유망한 전략으로 제안한다.
• 주요 구성 요소 및 설계 선택 사항을 정리한 표(Table I)를 활용해 연구 간 알고리즘 형식을 비교한다.

Figure 1: An illustration of the pipeline and the end-to-end approach for motion planning and control of autonomous vehicles, figure adapted from [ 2 ] .

실험 결과

연구 질문

• RQ1 자율주행차 제어에 있어 파이프라인 방식과 엔드 투 엔드 딥 강화학습 접근 방식은 성능 및 시스템 복잡성 측면에서 어떻게 비교될 수 있는가?
• RQ2 시뮬레이션에서 훈련된 DRL 정책을 실제 자율주행차에 구현할 때의 주요 과제는 무엇인가?
• RQ3 도메인 랜덤라이제이션 및 도메인 적응 기법이 DRL 기반 운동 계획에서 시뮬레이션에서 실제 환경으로의 일반화를 얼마나 향상시킬 수 있는가?
• RQ4 지속적 학습 및 메타학습은 다양한 주행 작업 간 DRL 에이전트의 일반화 능력과 적응 능력을 어떻게 향상시킬 수 있는가?
• RQ5 보상 함수 설계 및 상태/행동 공간 표현 방식은 자율주행차 의사결정에서 DRL의 성공에 어떤 역할을 하는가?

주요 결과

• 엔드 투 엔드 DRL 접근 방식은 전체 파이프라인을 동시에 최적화함으로써 더 뛰어난 성능과 더 작은 시스템 규모를 달성하며, 수작업으로 설계된 모듈에서 발생하는 버티브를 피한다.
• 높은 샘플 복잡도에도 불구하고 DRL은 명시적인 인간 레이블이 없이도 환경 상호작용에서 유도된 보상 신호에 기반해 학습할 수 있다.
• 시뮬레이션에서 실제 환경으로의 전이는 여전히 주요 과제로 남아 있으며, 도메인 랜덤라이제이션 또는 적응 기법 없이 시뮬레이션에서만 훈련된 정책은 실제 환경 조건에 일반화하기 어려운 경향이 있다.
• 파이프라인 접근 방식은 데이터 증가에 따라 향상되지 않는 수작업으로 설계된 추상화에 의해 제한되며, 결국 성능 저하 요인이 된다.
• 현재 DRL 방법은 대부분 작업에 특화되어 있으며 데이터 효율성이 떨어져 새로운 시나리오에 대해 재훈련이 필요로 하므로, 전이 학습 및 메타학습의 필요성이 강조된다.
• 도메인 랜덤라이제이션 및 이민 학습은 정책의 일반화 능력을 향상시키고 시뮬레이션에서 실제 환경으로의 도메인 갭을 줄이는 데 유망한 성과를 보였다.

Figure 2: Carla environments: Hard Rainy in Town 1 [ 39 ] .