[논문 리뷰] The Integration of Prediction and Planning in Deep Learning Automated Driving Systems: A Review

Steffen Hagedorn, Marcel Hallgarten외 2명|arXiv (Cornell University)|2023. 08. 10.

Autonomous Vehicle Technology and Safety인용 수 6

한 줄 요약

이 논문은 자율주행 시스템에서 운동 예측과 계획의 딥러닝 기반 통합에 대해 검토하며, 로봇-리더, 공동 리더, 공동 계획이라는 세 가지 아키텍처 유형에 대한 체계적인 분류를 제안한다. 이는 행동적 영향, 안전성의 상충 관계, 연구 격차를 강조한다. 확장 가능한 테스트, 벤치마킹, 강건한 훈련의 주요 과제를 규명하며, 일반화 및 상호작용 주행 시나리오에서의 안전성 향상을 위한 통합 평가 프레임워크와 하이브리드 학습 방법을 주장한다.

ABSTRACT

Automated driving has the potential to revolutionize personal, public, and freight mobility. Beside accurately perceiving the environment, automated vehicles must plan a safe, comfortable, and efficient motion trajectory. To promote safety and progress, many works rely on modules that predict the future motion of surrounding traffic. Modular automated driving systems commonly handle prediction and planning as sequential, separate tasks. While this accounts for the influence of surrounding traffic on the ego vehicle, it fails to anticipate the reactions of traffic participants to the ego vehicle's behavior. Recent methods increasingly integrate prediction and planning in a joint or interdependent step to model bidirectional interactions. To date, a comprehensive overview of different integration principles is lacking. We systematically review state-of-the-art deep learning-based planning systems, and focus on how they integrate prediction. Different facets of the integration ranging from system architecture to high-level behavioral aspects are considered and related to each other. Moreover, we discuss the implications, strengths, and limitations of different integration principles. By pointing out research gaps, describing relevant future challenges, and highlighting trends in the research field, we identify promising directions for future research.

연구 동기 및 목표

• 자율주행 시스템에서 순차적 예측 및 계획의 한계를 해결하기 위해, 교통 참가자 간 상호작용을 모델링하지 못하는 문제를 해결한다.
• 딥러닝 기반 예측, 계획 및 그들의 통합 방법에 대한 종합적이고 체계적인 검토를 제공한다.
• 자기차와 타차량 간의 관계 및 비용 함수 설계를 바탕으로, 로봇-리더, 공동 리더, 공동 계획이라는 새로운 통합 접근 방식의 분류를 제안한다.
• 다양한 통합 파라다임의 안전성, 강건성 및 행동적 영향을 분석하고, 훈련, 벤치마킹, 시스템 설계 분야의 열린 과제를 규명한다.
• 연구 격차와 향후 방향성을 부각하며, 특히 확장 가능한 테스트, 종합적 벤치마킹, 분포 이탈 및 희귀 시나리오에 대한 강건한 훈련에 중점을 둔다.

제안 방법

• 자기차 행동이 예측에 어떻게 영향을 주는지에 따라 기존의 통합 예측 및 계획(IPP) 모델을 세 가지 아키텍처 파라다임으로 계열화한다: 로봇-리더, 공동 리더, 공동 계획.
• 세 통합 유형 간 모델 아키텍처, 시스템 설계 및 행동적 영향을 분석하며, 비용 함수가 안전성과 사전 대비 계획을 어떻게 반영하는지 강조한다.
• 최신의 딥러닝 기반 예측 및 계획 방법을 검토하며, 향후 궤도와 행동을 동시에 최적화하는 엔드 투 엔드 및 하이브리드 아키텍처에 집중한다.
• 상호작용 주행 시나리오의 장꼬리 분포를 반영하는 상황에서 상호작용 지표, 현실적인 운전자 모델, 시뮬레이션 환경을 활용한 IPP 시스템 평가를 위한 체계적 프레임워크를 제안한다.
• 분포 이탈 및 희귀한 안전 위기 사례에 대한 강건성을 향상시키기 위해, 미분 가능한 시뮬레이터에서의 행동 클로닝 및 데이터 증강 기법과 같은 훈련 방법을 조사한다.
• 확장 가능한 시뮬레이션과 악성 시나리오 생성의 필요성을 강조하여, 실제 도로 환경에서의 일반화 및 강건성 테스트를 가능하게 한다.

실험 결과

연구 질문

• RQ1 로봇-리더, 공동 리더, 공동 계획이라는 서로 다른 통합 아키텍처는 자기차가 주변 교통 참가자들과 상호작용을 어떻게 모델링하는가?
• RQ2 로봇-리더 대비 공동 리더 계획 파라다임에서 전용 비용 함수를 사용할 경우의 안전성 및 행동적 영향은 무엇인가?
• RQ3 왜 현재까지 통합 예측 및 계획 시스템에 대한 종합적 벤치마킹이 부족한가? 성능 평가에 필요한 지표는 무엇인가?
• RQ4 희귀한 안전 위기 시나리오 및 분포 이탈에 대한 강건한 일반화를 보장하기 위해 훈련 방법은 어떻게 향상시킬 수 있는가?
• RQ5 시스템 설계, 시뮬레이션 스케일, 평가 분야에서의 주요 열린 과제는 무엇이며, 이는 실제 자율주행 시스템에 통합 예측 및 계획을 구현하는 데 어떤 장애를 초래하는가?

주요 결과

• 자기차가 먼저 계획을 세우고 그 계획에 기반해 예측을 수행하는 로봇-리더 파라다임은 일반적이지만, 주변 차량 반응에 대해 비현실적인 가정에 의존할 위험이 있다.
• 자기차와 주변 차량이 상호 조건부로 계획을 수립하는 공동 리더 파라다임은 상호 예측과 반응을 모델링함으로써 자연스럽게 안전성과 강건성을 지원한다.
• 모든 참가자의 행동을 동시에 최적화하는 공동 계획은 본질적인 안전 메커니즘이 없으며, 정의하고 최적화하기 어려운 공동 비용 함수가 필요하다.
• 다양하고 상호작용적인 주행 시나리오, 현실적인 운전자 모델을 포함한 다양한 상황에서 서로 다른 통합 방법의 강점과 약점을 평가할 수 있는 종합적 벤치마크는 현재 존재하지 않는다.
• 희귀한 안전 위기 시나리오에 대한 강건한 일반화는 여전히 주요 과제이며, 기존 방법들은 성능 향상을 위해 데이터 정제, 증강된 시나리오, 또는 미분 가능한 시뮬레이션에 의존하고 있다.
• 미래 연구는 확장 가능한 시뮬레이션, 악성 시나리오 생성, 애자일 학습 및 강화 학습을 융합한 하이브리드 훈련 접근법을 우선시하여 강건성과 안전성을 향상시켜야 한다.