[논문 리뷰] Behavioral Intention Prediction in Driving Scenes: A Survey

Jianwu Fang, Fan Wang외 2명|arXiv (Cornell University)|2022. 11. 01.

Autonomous Vehicle Technology and Safety인용 수 14

한 줄 요약

이 종합 검토는 자율주행 환경에서 행동의도 예측(BIP)에 대해 데이터셋, 핵심 과제, 보행자 중심 및 차량 중심 접근 방식, BIP 인지 응용 프로그램을 포함해 포괄적인 리뷰를 제공한다. 데이터 기반 딥 러닝이 주된 패러다임으로 부각되며, 의도 다양성과 안전 중심 시나리오 모델링의 한계가 지적되며, 향후 방향으로 인과 추론, 다중모달성, 그리고 합성-실제 데이터 통합이 자율주행 시스템의 예측 정확도 및 설명 가능성 향상에 유망한 것으로 제안된다.

ABSTRACT

In the driving scene, the road agents usually conduct frequent interactions and intention understanding of the surroundings. Ego-agent (each road agent itself) predicts what behavior will be engaged by other road users all the time and expects a shared and consistent understanding for safe movement. Behavioral Intention Prediction (BIP) simulates such a human consideration process and fulfills the early prediction of specific behaviors. Similar to other prediction tasks, such as trajectory prediction, data-driven deep learning methods have taken the primary pipeline in research. The rapid development of BIP inevitably leads to new issues and challenges. To catalyze future research, this work provides a comprehensive review of BIP from the available datasets, key factors and challenges, pedestrian-centric and vehicle-centric BIP approaches, and BIP-aware applications. Based on the investigation, data-driven deep learning approaches have become the primary pipelines. The behavioral intention types are still monotonous in most current datasets and methods (e.g., Crossing (C) and Not Crossing (NC) for pedestrians and Lane Changing (LC) for vehicles) in this field. In addition, for the safe-critical scenarios (e.g., near-crashing situations), current research is limited. Through this investigation, we identify open issues in behavioral intention prediction and suggest possible insights for future research.

연구 동기 및 목표

• 최근의 발전과 열린 과제에 초점을 맞춰 주행 환경에서 행동의도 예측(BIP)에 대한 체계적인 검토를 제공하는 것.
• BIP에서 도로 구조 표현, 사회적 상호작용 모델링, 예측 불확실성과 같은 핵심 요소를 분석하는 것.
• 보행자 중심 및 차량 중심 BIP 접근 방식을 비교하여 방법론적 차이점과 성능 추세를 강조하는 것.
• 현재 데이터셋의 격차를 특정화하며, 특히 의도 유형의 다양성 부족과 근접 사고 시나리오 커버리지 부족을 지적하는 것.
• 위험 평가, 사고 예측, V2X 협업과 같은 BIP 인지 응용 프로그램을 탐색하고 향후 연구 방향을 제안하는 것.

제안 방법

• 2013년부터 2022년까지의 고품질 종합 검토 및 최근 BIP 관련 연구를 대상으로 체계적인 문헌 검토를 수행하여 자율주행에서의 행동의도 예측에 초점을 맞춘다.
• 사용 가능한 BIP 데이터셋을 분류하고 분석하여 범위, 주석 품질, '횡단' 및 '차선 변경'과 같은 의도 유형 커버리지 등을 평가한다.
• 복잡한 사회적 상호작용 모델링, 예측 불확실성 처리, 도로 구조 및 교통 규칙 표현과 같은 핵심 과제를 식별하고 논의한다.
• 최신 딥 러닝 모델을 검토하며, 상호작용 모델링을 위한 다중모달 추론, 어텐션 메커니즘, 그래프 신경망에 중점을 둔다.
• 안전 중심 시나리오에서 모델의 설명 가능성과 강건성을 향상시키기 위해 인과 추론과 반사적 분석 기법이 새로운 기법으로 부상하고 있음을 제시한다.
• VIENA 2 및 DeepAccident와 같은 벤치마크를 사용하여 사고 예측, TTC 연장, V2X 협업과 같은 BIP 인지 응용 프로그램을 평가한다.

실험 결과

연구 질문

• RQ1 행동의도 예측에서 지배적인 데이터 기반 딥 러닝 접근 방식은 무엇이며, 이는 도로 내 에이전트 간의 상호작용을 어떻게 모델링하는가?
• RQ2 현재 데이터셋에서 왜 의도 다양성이 제한되어 있으며, 이는 BIP 모델의 일반화 능력을 어떻게 제약하는가?
• RQ3 인과 추론과 반사적 분석은 안전 중심 주행 시나리오에서 BIP 모델의 설명 가능성과 강건성을 어떻게 향상시킬 수 있는가?
• RQ4 BIP에서 도로 구조, 사회적 상호작용, 예측 불확실성 모델링의 핵심 과제는 무엇인가?
• RQ5 BIP는 사고 예측 및 V2X 협업과 같은 광범위한 자율주행 응용 프로그램에 어떻게 통합될 수 있는가?

주요 결과

• 데이터 기반 딥 러닝이 BIP의 주요 파이프라인으로 자리 잡았으며, 대부분의 방법이 순차 모델링과 어텐션 기반 상호작용 추론을 위한 엔드 투 엔드 신경망에 의존한다.
• 현재 데이터셋은 주로 '횡단' 및 '횡단하지 않음'과 같은 몇 가지 의도 유형만 레이블링하여, 모델의 일반화 능력과 다양성에 제약을 가한다.
• 근접 사고 또는 안전 중심 시나리오는 기존 데이터셋과 모델에서 여전히 부족하게 커버되어 있어, 강건성 평가의 심각한 격차가 있음을 시사한다.
• 인과 추론과 반사적 분석은 설명 가능성 향상에 유망한 기법으로 부상하고 있으며, CausalAF 및 STEEK 같은 방법은 개선된 인과 이해와 강건성을 입증하고 있다.
• VIENA 2 및 DeepAccident와 같은 벤치마크를 활용해 사고 예측 및 TTC 연장과 같은 BIP 인지 응용 프로그램은 높은 잠재력을 보이며, 협업 및 가상 주행 시나리오에서 BIP 평가가 가능하다.
• V2X 및 도로-차량 협업을 위해 다수의 에이전트 간 일관된 의도 이해가 필수적이며, 일관성을 위한 핵심 기반 기술로 공간-시간 윈도우 분할 기법이 제안된다.