[논문 리뷰] PePScenes: A Novel Dataset and Baseline for Pedestrian Action Prediction in 3D

Amir Rasouli, Tiffany Yau외 4명|arXiv (Cornell University)|2020. 12. 14.

Autonomous Vehicle Technology and Safety참고 문헌 20인용 수 8

한 줄 요약

이 논문은 nuScenes를 확장하여 프레임별 2D/3D 경계상자 및 보행자 횡단 행동에 대한 행동 주석을 추가한 새로운 3차원 보행자 행동 예측 데이터셋인 PePScenes를 소개한다. 시각적, 지ap, 궤적 모odal리티를 융합하는 하이브리드 딥 러닝 모델을 제안하여 횡단 예측에서 48%의 F1 스코어를 달성하며, 최신 기술 수준의 성능을 보이며 다중 모달리티 융합이 행동 예측 정확도를 크게 향상시킨다는 것을 입증한다.

ABSTRACT

Predicting the behavior of road users, particularly pedestrians, is vital for safe motion planning in the context of autonomous driving systems. Traditionally, pedestrian behavior prediction has been realized in terms of forecasting future trajectories. However, recent evidence suggests that predicting higher-level actions, such as crossing the road, can help improve trajectory forecasting and planning tasks accordingly. There are a number of existing datasets that cater to the development of pedestrian action prediction algorithms, however, they lack certain characteristics, such as bird's eye view semantic map information, 3D locations of objects in the scene, etc., which are crucial in the autonomous driving context. To this end, we propose a new pedestrian action prediction dataset created by adding per-frame 2D/3D bounding box and behavioral annotations to the popular autonomous driving dataset, nuScenes. In addition, we propose a hybrid neural network architecture that incorporates various data modalities for predicting pedestrian crossing action. By evaluating our model on the newly proposed dataset, the contribution of different data modalities to the prediction task is revealed. The dataset is available at https://github.com/huawei-noah/PePScenes.

연구 동기 및 목표

• 자율주행 차량에서 보행자 행동 예측을 위한 3차원, 지도 기반, 고수준 행동 주석이 부족한 데이터셋의 문제를 해결하기 위해.
• 시각적, 지도, 궤적 데이터를 융합하는 다중 모달 딥 러닝 모델을 개발하여 정확한 보행자 횡단 행동 예측을 수행하기 위해.
• 장면 이미지, 의미적 지도, 궤적과 같은 다양한 데이터 모달리티가 행동 예측 성능에 기여하는 정도를 평가하기 위해.
• 향후 3차원 보행자 행동 예측 분야의 연구를 위한 기준 데이터셋과 베이스라인 모델을 제공하기 위해.

제안 방법

• 데이터셋은 63.4만 건의 프레임별 보행자 행동 주석과 452만 건의 경계상자 주석을 포함하며, 3차원 위치와 2D/3차원 상자 레이블이 포함된다.
• 시각적, 지도, 궤적 모달리티를 융합하는 하이브리드 신경망 아키텍처를 사용한다: 장면 이미지(300×300), 의미적 지도(30×30m, 3채널), 보행자/자기차량 궤적(x,z 좌표 및 속도).
• 시각적 특징은 두 개의 병렬 Conv2D 스트림 네트워크를 통해 추출되며, 필터 크기 조합은 [32,3,3], [64,3,2], [128,3,2]와 [64,3,3], [128,3,2], [256,3,2]이다. 이 후 글로벌 평균 풀링을 적용한다.
• 궤적 및 자기차량 상태 특징은 각각 별도의 128셀 LSTM을 통해 인코딩되며, 최종 표현은 시각적 특징과 동적 특징을 연결하여 형성된다.
• 융합된 표현은 드롭아웃 비율 0.5를 가진 두 개의 완전 연결 층을 통과하며, 행동 분류에 이진 교차 엔트로피 손실을 사용한다.
• 모델은 RMSProp을 사용하여 엔드 투 엔드로 학습되며, 배치 크기 8, 학습률 5×10⁻⁵로 50에포크 동안 학습되며, 데이터 불균형을 보완하기 위해 클래스 가중치를 적용한다.

실험 결과

연구 질문

• RQ1 시각적, 지도, 궤적 등의 다양한 데이터 모달리티가 보행자 횡단 행동 예측 정확도에 기여하는 정도는 어떠한가?
• RQ2 다중 모달 딥 러닝 모델이 3차원 보행자 행동 예측에서 단일 모달 기반 모델보다 우월한 성능을 보일 수 있는가?
• RQ3 3차원 장면 컨텍스트와 의미적 지도를 통합할 경우, 2D만 또는 궤적만을 사용하는 모델보다 행동 예측 정확도가 얼마나 향상되는가?
• RQ4 3차원, 지도 기반 데이터셋에서 제안된 모델은 SF-GRU와 같은 최신 기술 수준의 방법보다 어떻게 비교되는가?

주요 결과

• 제안된 하이브리드 모델은 보행자 횡단 예측에서 48%의 F1 스코어를 기록하며, 단일 모달 기반 모델보다 뚜렷이 뛰어난 성능을 보였다.
• 궤적 데이터만을 사용할 경우 모델은 20%의 F1 스코어를 기록하여, 시각적 또는 지도 컨텍스트 없이선 예측 능력이 제한적이라는 것을 시사한다.
• 장면 및 지도 이미지를 함께 통합할 경우 F1 스코어가 35%로 상승하여, 시각적 컨텍스트가 행동 인식에 기여한다는 것을 입증한다.
• 지도+장면 특징에 궤적 데이터를 추가하면 F1 스코어가 43%로 상승하여, 동적 운동 패tern이 예측에 매우 중요하다는 것을 보여준다.
• 모든 모달리티를 사용하는 전체 모델은 최고의 AUC 0.71과 47%의 정밀도를 기록하여, 다중 모달리티 융합의 유용성을 확인한다.
• 데이터셋은 719명의 보행자와 행동 주석을 포함하며, 이 중 149명은 횡단 행동을 보이고, 10Hz 프레임 기준 총 106만 건의 보행자 경계상자 주석이 포함되어 있다.