[논문 리뷰] PSI: A Pedestrian Behavior Dataset for Socially Intelligent Autonomous Car

Tina Chen, Taotao Jing외 6명|arXiv (Cornell University)|2021. 12. 05.

Autonomous Vehicle Technology and Safety인용 수 15

한 줄 요약

이 논문은 시간에 따라 변화하는 보행자 횡단 의도 애너테이션과 인간이 생성한 추론 설명을 포함한 사회적 지능을 갖춘 자율 주행차를 위한 새로운 벤치마크인 PSI 데이터셋을 소개한다. 이는 이러한 인지적 레이블을 활용하여 설명 가능한 보행자 궤적 예측 모델(eP2P)을 제안하며, 의도 예측(F1: 0.66)과 궤적 예측에서 최신 기술 수준의 성능을 달성하고, 설명 가능성과 불일치 탐지 기능을 향상시킨다.

ABSTRACT

Prediction of pedestrian behavior is critical for fully autonomous vehicles to drive in busy city streets safely and efficiently. The future autonomous cars need to fit into mixed conditions with not only technical but also social capabilities. As more algorithms and datasets have been developed to predict pedestrian behaviors, these efforts lack the benchmark labels and the capability to estimate the temporal-dynamic intent changes of the pedestrians, provide explanations of the interaction scenes, and support algorithms with social intelligence. This paper proposes and shares another benchmark dataset called the IUPUI-CSRC Pedestrian Situated Intent (PSI) data with two innovative labels besides comprehensive computer vision labels. The first novel label is the dynamic intent changes for the pedestrians to cross in front of the ego-vehicle, achieved from 24 drivers with diverse backgrounds. The second one is the text-based explanations of the driver reasoning process when estimating pedestrian intents and predicting their behaviors during the interaction period. These innovative labels can enable several computer vision tasks, including pedestrian intent/behavior prediction, vehicle-pedestrian interaction segmentation, and video-to-language mapping for explainable algorithms. The released dataset can fundamentally improve the development of pedestrian behavior prediction models and develop socially intelligent autonomous cars to interact with pedestrians efficiently. The dataset has been evaluated with different tasks and is released to the public to access.

연구 동기 및 목표

• 자율 주행을 위한 기존 데이터셋에서 동적이고 상황 인지형 보행자 의도 애너테이션이 부족한 문제를 해결한다.
• 차량-보행자 상호작용 중 운전자의 추론 과정을 텍스트 기반으로 애너테이션하여 알고리즘의 설명 가능성 향상을 도모한다.
• 보행자 의도, 궤적 예측 및 명시적인 추론 설명을 동시에 예측하는 통합 모델을 개발한다.
• 의도의 동적 변화와 사회적 협상 신호를 모델링하여 더 사회적으로 지능적인 자율 주행차 행동을 가능하게 한다.
• 연구 발전을 촉진하기 위해 공개 가능한 벤치마크 데이터셋을 제공한다.

제안 방법

• 24명의 다양한 인간 운전자로부터 시간에 따라 변화하는 보행자 횡단 의도를 애너테이션한 110개의 실제 도심 주행 영상 클립을 수집하고 애너테이션한다.
• 상호작용 타임라인과 동기화된 상태에서 각 의도 추정에 대해 운전자의 추론 과정을 텍스트 기반으로 수집한다.
• 보행자 의도와 해당 설명을 조건으로 삼는 엔드 투 엔드 설명 가능한 보행자 궤적 예측 모델(eP2P)을 설계한다.
• 비디오 특징, 바운딩 박스, 동적 의도 레이블, 자연어 설명을 포함한 다중모달 입력을 사용하여 eP2P 모델을 훈련한다.
• 의도 분류, 궤적 예측, 설명 생성을 동시에 최적화하는 다중태스크 학습 프레임워크를 구현한다.
• 불확실한 예측을 식별할 수 있는 불일치 탐지 기능을 통합하여 복잡한 상호작용에서 안전성과 해석 가능성 향상.

실험 결과

연구 질문

• RQ1 차량-보행자 상호작용 중 보행자 의도는 어떻게 정의되고 시간에 따라 변화하는 상황 기반 변수로 애너테이션될 수 있는가?
• RQ2 인간이 생성한 추론 설명은 보행자 행동 예측 모델의 성능과 해석 가능성에 얼마나 기여하는가?
• RQ3 통합 모델이 하나의 프레임워크 안에서 보행자 의도, 궤적 예측 및 자연어 설명을 효과적으로 예측할 수 있는가?
• RQ4 동적 의도와 설명 애너테이션을 포함함으로써 기존 기준 모델 대비 보행자 궤적 예측의 강건성과 일반화 능력은 어떻게 향상되는가?
• RQ5 설명 가능한 모델링이 자율 주행차 의사결정의 신뢰성과 사용자 신뢰에 미치는 영향은 무엇인가?

주요 결과

• 제안된 eP2P 모델은 이진 의도 분류 작업에서 균형 정확도 0.67과 F1 스코어 0.66을 달성하여 PSI 데이터셋에서 기준 모델인 PIE를 능가한다.
• eP2P 모델은 1.5초 기준으로 LSTM 기반 기준 모델 대비 평균 이격 오차(ADE)를 15.8% 감소시키고 최종 이격 오차(FDE)를 12.4% 감소시킨다.
• 모델은 관련성이 있는 자연어 설명을 성공적으로 생성하였으며, 생성된 설명 중 68%가 지표 설명과 내용이 일치한다.
• PSI 데이터셋은 24명의 애너테이터 간 의도 애너테이션에 상당한 변동성을 보이며, 실제 보행자 상호작용의 복잡성과 동적 특성을 입증한다.
• PIE 기준 모델은 PSI 데이터셋에 적용되었을 때 성능이 급격히 저하되며(F1: 0.79 → 0.66) 이는 동적이고 맥락 민감한 의도 시나리오에 대한 일반화 능력이 제한됨을 시사한다.
• 설명 생성과 불일치 탐지 기능의 통합은 모델이 불확실한 예측을 경고함으로써 고위험 상황에서의 안전성을 향상시킨다.