[논문 리뷰] Survey of Deep Reinforcement Learning for Motion Planning of Autonomous Vehicles

Szilárd Aradi|arXiv (Cornell University)|2020. 01. 30.

Autonomous Vehicle Technology and Safety인용 수 4

한 줄 요약

이 종합 검토는 자율주행차의 운동 계획에 대한 딥 강화학습(DRL) 응용을 다루며, 전략적, 행동적, 운동 계획, 제어 계층으로 구성된 계층적 작업 분해에 중점을 둡니다. DRL이 원시 센서 데이터를 처리하고 복잡한 부분 관찰 가능 환경을 다룰 수 있는 능력을 강조하지만, 실제 적용 가능성, 안전성 검증 및 계산 자원 요구량과 같은 과제들은 해결되지 않은 채 남아 있습니다.

ABSTRACT

Academic research in the field of autonomous vehicles has reached high popularity in recent years related to several topics as sensor technologies, V2X communications, safety, security, decision making, control, and even legal and standardization rules. Besides classic control design approaches, Artificial Intelligence and Machine Learning methods are present in almost all of these fields. Another part of research focuses on different layers of Motion Planning, such as strategic decisions, trajectory planning, and control. A wide range of techniques in Machine Learning itself have been developed, and this article describes one of these fields, Deep Reinforcement Learning (DRL). The paper provides insight into the hierarchical motion planning problem and describes the basics of DRL. The main elements of designing such a system are the modeling of the environment, the modeling abstractions, the description of the state and the perception models, the appropriate rewarding, and the realization of the underlying neural network. The paper describes vehicle models, simulation possibilities and computational requirements. Strategic decisions on different layers and the observation models, e.g., continuous and discrete state representations, grid-based, and camera-based solutions are presented. The paper surveys the state-of-art solutions systematized by the different tasks and levels of autonomous driving, such as car-following, lane-keeping, trajectory following, merging, or driving in dense traffic. Finally, open questions and future challenges are discussed.

연구 동기 및 목표

• 자율주행차 운동 계획에 대한 최근 딥 강화학습(DRL) 기술의 발전을 다양한 주행 작업과 계층적 계층에서 체계화하기.
• DRL 기반 운동 계획의 설계 선택 사항을 분석하기, 즉 상태 표현, 보상 형상화, 환경 모델링, 신경망 아키텍처 포함.
• DRL이 자율주행차에 적용될 때의 열린 과제를 특정하기, 특히 안전성, 내구성, 검증 및 실제 적용 가능성 측면에서.
• DRL이 종단 간 및 모odu lar 운동 계획 시스템에 적합한지 평가하기, 기존 제어 및 최적화 방법과 비교하여.
• 현재 연구의 격차를 부각하기, 예를 들어 단순화된 센서 및 환경 모델, 그리고 다양한 실용적인 시뮬레이션 환경의 부족.

제안 방법

• 운동 계획을 네 가지 계층적 계층으로 분류: 루트 계획, 행동 의사결정, 궤적 생성, 국소 피드백 제어.
• 행위 및 운동 계획 수준에 적용된 DRL 기법을 검토하며, 전략적 결정보다 유한 행동 POMDP(부분 관찰 가능 마르코프 결정 과정)의 중요성을 강조.
• 상태 표현 방법 분석, 연속형 및 이산형 상태, 격자 기반, 카메라 기반의 인식 모델 포함.
• 차량 따라가기, 차선 유지, 융합, 혼잡한 교통 상황 주행 등의 작업에 맞춘 보상 형상화 전략 검토.
• 정책 및 가치 함수의 함수 근사기로 깊이 신경망의 사용 평가하며, 학습 복잡성과 하이퍼파rameter 튜닝에 중점을 둠.
• 시뮬레이션 프레임워크와 계산 자원 요구사항 논의하며, 실시간 성능과 확장성은 여전히 주요 과제로 남아 있음을 지적.

실험 결과

연구 질문

• RQ1 딥 강화학습은 다양한 주행 작업에서 자율주행차의 계층적 운동 계획에 효과적으로 적용될 수 있는가?
• RQ2 DRL 운동 계획에서 성공을 결정짓는 핵심 설계 구성요소는 무엇인가? (상태 표현, 보상 함수, 행동 공간, 환경 모델링)
• RQ3 왜 대부분의 DRL 응용이 종단 간 시스템이 아닌 하위 작업에 집중하는가?
• RQ4 DRL 기반 운동 계획 시스템을 실제 자율주행차에 구현할 때의 주요 장벽은 무엇인가? 특히 안전성 및 검증 측면에서.
• RQ5 실제 주행 시나리오에 대한 DRL 에이전트의 내구성과 이행 가능성 향상을 위해 시뮬레이션 환경은 어떻게 개선될 수 있는가?

주요 결과

• DRL은 융합 및 혼잡한 교통 상황과 같은 복잡한 부분 관찰 가능 주행 상황을 다룰 수 있는 잠재력을 보였지만, 대부분의 연구는 복잡성으로 인해 단순화된 하위 작업에 집중하고 있음.
• 이dealized 또는 기준값 센서 모델의 사용은 실제 적용 가능성에 제약을 주며, 센서 노이즈를 통합하면 내구성이 향상될 수 있음.
• 복잡한 상황에서 DRL 에이전트를 학습시키기 위해 수백만 개의 학습 스텝이 필요하며, 하이퍼파rameter 튜닝과 환경 상호작용으로 인해 학습 세션은 수 시간 또는 수 일에 이르기도 함.
• 추론 시 계산 비용은 낮지만, 높은 샘플 복잡성과 긴 학습 시간으로 인해 아키텍처 및 알고리즘 개선 없이 전체 규모의 구현은 현실적으로 어려움.
• 현재 검증 관행은 일반적으로 학습 및 테스트에 동일한 환경을 사용하여 표준 머신러닝 원칙을 위반하고 일반화 신뢰도를 낮춤.
• 안전성 검증은 여전히 핵심적인 열린 과제이며, 기존 표준인 ISO 26262 및 Automotive SPICE는 아직 딥 러닝 기반 시스템을 충분히 다루지 못하며, 안전 레이어만으로도 복잡한 상황에서의 기능적 안전성을 보장할 수 없음.