[논문 리뷰] Predicting Pedestrian Crossing Intention with Feature Fusion and Spatio-Temporal Attention

Dongfang Yang, Haolin Zhang외 3명|arXiv (Cornell University)|2021. 04. 12.

Autonomous Vehicle Technology and Safety참고 문헌 33인용 수 6

한 줄 요약

이 논문은 RGB 영상, 시맨틱 세그멘테이션, 보행자 자세, 자동차의 자이로스피드 등의 다중 모odal 시공간 특징을 2D CNN과 GRU를 사용한 하이브리드 어텐션 기반 융합 전략으로 융합하는 시각 기반 보행자 횡단 의도 예측 모델을 제안한다. 전반적인 시나리오의 전경을 명시적으로 모델링하고 특징 융합을 철저한 추상화 연구를 통해 최적화함으로써 JAAD 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하였으며, 정확도 83%와 AUC 82%를 기록하였다.

ABSTRACT

Predicting vulnerable road user behavior is an essential prerequisite for deploying Automated Driving Systems (ADS) in the real-world. Pedestrian crossing intention should be recognized in real-time, especially for urban driving. Recent works have shown the potential of using vision-based deep neural network models for this task. However, these models are not robust and certain issues still need to be resolved. First, the global spatio-temproal context that accounts for the interaction between the target pedestrian and the scene has not been properly utilized. Second, the optimum strategy for fusing different sensor data has not been thoroughly investigated. This work addresses the above limitations by introducing a novel neural network architecture to fuse inherently different spatio-temporal features for pedestrian crossing intention prediction. We fuse different phenomena such as sequences of RGB imagery, semantic segmentation masks, and ego-vehicle speed in an optimum way using attention mechanisms and a stack of recurrent neural networks. The optimum architecture was obtained through exhaustive ablation and comparison studies. Extensive comparative experiments on the JAAD pedestrian action prediction benchmark demonstrate the effectiveness of the proposed method, where state-of-the-art performance was achieved. Our code is open-source and publicly available.

연구 동기 및 목표

• 도시 자율 주행 환경에서 실시간 보행자 횡단 의도 예측을 향상시키기 위해.
• 기존 모델이 시공간 전경을 충분히 활용하지 못하고 특징 융합 전략이 최적화되지 않은 점을 해결하기 위해.
• 다양한 센서 입력(시각, 자세, 자동차)을 통합하는 강력한 시각 기반 딥 러닝 프레임워크를 개발하여 행동 이해를 향상시키기 위해.
• 다중 모달 특징 융합 전략 중에서 최적의 전략(조기, 후기, 계층적, 하이브리드)을 식별하기 위해.
• 체계적인 추상화 및 비교 실험을 통해 모델의 우수성을 JAAD 벤치마크에서 검증하기 위해.

제안 방법

• 모델은 RGB 영상 시퀀스와 시맨틱 세그멘테이션 맵에서 시공간 특징을 인코딩하기 위해 2D 컨volution 신경망(CNNs)과 GRUs를 사용한다.
• 보행자 바운딩 박스, 자세 키포인트, 자동차의 자이로스피드와 같은 비시각적 특징을 추가 입력 채널로 통합한다.
• 조기, 후기, 계층적 융합을 어텐션 메커니즘을 통해 결합한 하이브리드 특징 융합 전략을 적용하여 다중 모달 간 상호작용을 최적화한다.
• 공간-시간 어텐션 모듈을 적용하여 시간과 공간에 따라 관련성이 높은 특징을 동적으로 가중함으로써 전경 인식 능력을 향상시킨다.
• 이중 분류(횡단 여부)를 위해 교차 엔트로피 손실을 사용하여 JAAD 데이터셋에서 엔드 투 엔드로 모델을 훈련시킨다.
• 다양한 시각 인코더(3D CNN 대비 VGG + GRU), 융합 유형, 입력 구성에 대한 철저한 추상화 연구를 통해 최적의 모델 레이아웃을 규명한다.

실험 결과

연구 질문

• RQ1 드라이브 가능한 영역의 시맨틱 세그멘테이션과 같은 전경 시나리오를 통합할 경우 보행자 횡단 의도 예측 성능가 어떻게 향상되는가?
• RQ2 조기, 후기, 계층적, 하이브리드 중 어떤 특징 융합 전략이 다중 모달 보행자 의도 예측에서 가장 높은 성능을 낼 수 있는가?
• RQ3 다른 시각 인코더(3D CNN 대비 2D CNN + RNN)는 모델 성능과 내구성에 어떤 영향을 미치는가?
• RQ4 비시각적 입력(예: 자동차의 자이로스피드, 자세)을 포함할 경우 예측 정확도는 어느 정도 향상되는가?
• RQ5 PCPA와 같은 최신 기술 수준의 베이스라인에 비해 제안된 모델은 JAAD 벤치마크에서 정확도, AUC, F1 스코어 측면에서 어떻게 비교되는가?

주요 결과

• 제안된 모델은 JAAD all 데이터셋에서 83%의 정확도와 82%의 AUC를 기록하여 모든 베이스라인 모델과 이전 최신 기술 수준의 방법들을 능가하였다.
• 하이브리드 융합 전략은 성능 향상에 크게 기여하였으며, 가장 우수한 성능을 보인 베이스라인 대비 F1 스코어 5.5% 향상되었다.
• 전경 정보(시맨틱 세그멘테이션)를 통합함으로써 재현율이 10% 향상되어 실제 횡단 사건을 더 잘 탐지하는 데 기여하였다.
• 하이브리드 융합 전략과 함께 VGG + GRU 시각 인코더가 가장 높은 정확도(83%)와 AUC(82%)를 기록하여 3D CNN 및 다른 융합 전략보다 뛰어난 성능을 보였다.
• 추상화 연구 결과, 전경 정보와 어텐션 기반 융합 전략이 가림, 낮은 시야, 모호한 보행자 동작 등의 상황을 다루는 데 핵심적인 역할을 한다는 것이 확인되었다.
• 질적 테스트 케이스의 70%에서 PCPA를 능가하였으며, 특히 방향성 모호성, 가림, 저조도 조건에서 뛰어난 성능을 보였다.