[논문 리뷰] Graph-SIM: A Graph-based Spatiotemporal Interaction Modelling for Pedestrian Action Prediction

Tiffany Yau, Saber Malekmohammadi외 4명|arXiv (Cornell University)|2020. 12. 03.

Autonomous Vehicle Technology and Safety참고 문헌 37인용 수 4

한 줄 요약

이 논문은 조류의 시점 3D 좌표, 방향성 및 상대적 중요도 가중치를 사용하여 동적 상호작용을 모델링함으로써 보행자 횡단 행동을 예측하는 그래프 기반의 시공간 상호작용 모델인 Graph-SIM을 제안한다. 새로운 데이터셋인 PePScenes를 도입하여 3D 경계상자와 행동 주석을 제공하며, 기존 방법 대비 주요 지표에서 15% 이상 향상된 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

One of the most crucial yet challenging tasks for autonomous vehicles in urban environments is predicting the future behaviour of nearby pedestrians, especially at points of crossing. Predicting behaviour depends on many social and environmental factors, particularly interactions between road users. Capturing such interactions requires a global view of the scene and dynamics of the road users in three-dimensional space. This information, however, is missing from the current pedestrian behaviour benchmark datasets. Motivated by these challenges, we propose 1) a novel graph-based model for predicting pedestrian crossing action. Our method models pedestrians' interactions with nearby road users through clustering and relative importance weighting of interactions using features obtained from the bird's-eye-view. 2) We introduce a new dataset that provides 3D bounding box and pedestrian behavioural annotations for the existing nuScenes dataset. On the new data, our approach achieves state-of-the-art performance by improving on various metrics by more than 15% in comparison to existing methods. The dataset is available at https://github.com/huawei-noah/datasets/PePScenes.

연구 동기 및 목표

• 기존 보행자 행동 예측 벤치마크에서 3D 공간적 특징과 상호작용 인식 기능의 부족을 해결하기 위해.
• 조류의 시점 3D 좌표와 운동 방향을 사용하여 동적 상호작용을 모델링하여 보행자 횡단 예측을 향상시키기 위해.
• 거리, 방향성 및 교통 흐름을 고려하여 상대적 중요도에 기반해 상호작용을 가중치화하는 그래프 기반의 상호작용 모델링 방법을 개발하기 위해.
• PePScenes라는 새로운 데이터셋을 도입하여 nuScenes를 확장하여 3D 경계상자와 보행자 행동 주석을 제공함으로써 보다 향상된 벤치마크를 제공하기 위해.
• 자기 차량의 역학과 보행자 운동 특징을 통합하여 보행자 횡단 예측에서 최신 기술 수준의 성능를 달성하기 위해.

제안 방법

• 모델은 보행자 중심의 별자리 그래프를 구성하며, 도로 사용자(보행자 및 차량)를 조류의 시점에서의 3D 전역 좌표와 방향성으로 표현한다.
• 간선 가중치는 거리와 도로 사용자 간 방향 일치도를 조합한 상대적 중요도 함수를 사용하여 계산되며, 거리 기반 방법보다 교통 환경을 더 정확히 반영한다.
• 그래프는 그래프 신경망(GNN)을 통해 처리되어 상호작용 특징을 집계하고, 이는 목표 보행자 및 자기 차량의 시간적 동역학과 순환 구조를 통해 융합된다.
• 근접성과 방향성 기반으로 보행자를 군집화하여 사회적 힘과 집단 행동을 모델링함으로써 상호작용 표현을 향상시킨다.
• 최종 예측 헤드는 위치, 속도 등의 동역학 특징과 그래프 인코딩된 상호작용 특징의 다중 수준 융합을 사용하여 횡단 확률을 분류한다.
• 모델은 PePScenes라는 새로 도입된 데이터셋에서 훈련 및 평가되며, 이는 3D 경계상자와 보행자 행동 주석이 추가된 nuScenes의 확장판이다.

실험 결과

연구 질문

• RQ1 3D 공간적 정보와 방향성 정보를 활용하여 보행자와 주변 도로 사용자 간의 시공간 상호작용을 어떻게 효과적으로 모델링할 수 있는가?
• RQ2 자기 차량의 역학을 통합할 경우 보행자 횡단 예측 성능에 어느 정도 기여하는가?
• RQ3 근접성 기반 군집화 외에 3D 좌표와 방향성 기반 군집화가 집단 행동을 더 잘 포착할 수 있는가?
• RQ4 거리와 운동 방향에 기반한 상대적 중요도 가중치는 균일하거나 거리 기반 가중치 대비 상호작용 모델링에 어떻게 향상되는가?
• RQ5 3D 조류의 시점 특징을 사용하는 그래프 기반 모델이 기존 최신 기술 수준(SOTA) 방법보다 보행자 행동 예측에서 더 우수한 성능를 낼 수 있는가?

주요 결과

• 완전한 Graph-SIM 모델은 보행자 및 자기 차량의 역학을 모두 통합하여 PePScenes 데이터셋에서 94.4% 정확도, 85.8% AUC, 81.4% F1, 92.1% 정밀도를 달성했다.
• 기본 모델인 Social-STGCNN 대비 F1과 정밀도가 각각 29%, 20% 향상되어 뚜렷한 성능 향상을 보였다.
• 자기 차량의 역학을 통합할 경우 보행자 역학만 고려하는 것보다 성능 향상이 더 크며, 이는 자기 차량이 보행자 행동에 미치는 영향력이 높다는 것을 시사한다.
• 방향성 인식 기반 상대적 중요도 모델링은 거리 기반 가중치보다 우수했으며, F1 점수를 Social-STGCNN 대비 7.6% 향상시켰다.
• 근접성과 방향성 기반 군집화는 근접성 기반 군집화 대비 정밀도를 5% 향상시켰으며, 이는 더 나은 집단 행동 모델링을 가능하게 했다.
• 제거 실험 결과, 보행자 위치와 속도 특징을 동시에 사용할 경우 별도로 사용할 경우보다 유의미하게 더 높은 성능를 확보함을 확인했다.