[논문 리뷰] SFMGNet: A Physics-based Neural Network To Predict Pedestrian Trajectories

Sakif Hossain, Fatema Tuz Johora외 3명|arXiv (Cornell University)|2022. 02. 06.

Autonomous Vehicle Technology and Safety인용 수 5

한 줄 요약

SFMGNet는 사회적 힘 모델과 군집 역학을 기반으로 한 물리 기반 모델을 다층 신경망(MLP)과 통합한 물리 기반 신경망이다. 합성 데이터로만 훈련된 SFMGNet은 ETH 및 UCY 벤치마크에서 최신 기술 수준을 달성하며, 이전 방법보다 낮은 ADE(평균 0.15 m)와 FDE(평균 0.26 m)를 기록했고, 충돌이 없는 해석 가능한 예측을 보장한다.

ABSTRACT

Autonomous robots and vehicles are expected to soon become an integral part of our environment. Unsatisfactory issues regarding interaction with existing road users, performance in mixed-traffic areas and lack of interpretable behavior remain key obstacles. To address these, we present a physics-based neural network, based on a hybrid approach combining a social force model extended by group force (SFMG) with Multi-Layer Perceptron (MLP) to predict pedestrian trajectories considering its interaction with static obstacles, other pedestrians and pedestrian groups. We quantitatively and qualitatively evaluate the model with respect to realistic prediction, prediction performance and prediction "interpretability". Initial results suggest, the model even when solely trained on a synthetic dataset, can predict realistic and interpretable trajectories with better than state-of-the-art accuracy.

연구 동기 및 목표

• 혼잡한 교통 환경에서 현실적이고 해석 가능하며 강력한 보행자 궤적 예측의 부족을 해결하기 위해.
• 순수 데이터 기반 모델의 한계, 예를 들어 일반화 능력 부족과 해석 불가능성 문제를 극복하기 위해.
• 장애물, 사회적 힘 등의 물리적 제약 조건과 군집 행동을 신경망 아키텍처에 통합하여 현실성과 안전성을 향상시키기 위해.
• 자율주행 시스템이 인간의 운동을 더 신뢰할 수 있고 안정적으로 예측 및 계획할 수 있도록 하기 위해.
• 하이브리드 물리-학습 모델이 순수하게 합성 데이터로만 훈련되어도 잘 일반화될 수 있음을 입증하기 위해.

제안 방법

• 모델은 목적지, 장애물, 보행자, 군집 구성원으로부터 오는 힘을 인코딩하기 위해 물리 기반 사회적 힘 모델과 군집 역학(SFMG)을 조합한다.
• 다층 퍼셉트론(MLP)을 사용하여 입력 상태에서 힘 예측으로의 비선형 맵핑을 학습함으로써 향후 궤적을 예측한다.
• 모델은 실제 보행자 궤적 애너테이션 없이 SFMG 프레임워크를 사용해 생성한 합성 데이터 세트에서 엔드 투 엔드로 훈련된다.
• 힘 성분은 다음과 같다: (1) 목적지 향한 가속도, (2) 정적 장애물로부터의 밀려남, (3) 다른 보행자로부터의 밀려남, (4) 군집 유대감 및 정렬 힘.
• 물리 법칙을 모델 구조에 통합함으로써 신뢰성 있는 해석 가능성을 확보하면서도, 신경망의 유연성도 유지한다.
• 평가에는 표준 지표인 평균 이동 오차(ADE)와 최종 이동 오차(FDE)에 더해, 실현 가능성 평가를 위한 근접 충돌 탐지 기법을 사용한다.

실험 결과

연구 질문

• RQ1 하이브리드 물리-학습 모델은 순수 데이터 기반 모델보다 보다 정확하고 현실적인 보행자 궤적을 예측할 수 있는가?
• RQ2 신경망에 군집 역학을 통합함으로써 궤적 예측 성능과 현실성이 향상되는가?
• RQ3 순수하게 합성 데이터로만 훈련된 모델이 실제 환경에 대해 높은 성능을 보이며 일반화 가능한가?
• RQ4 근접 충돌 회피를 통해 측정했을 때, 모델이 물리적으로 타당한 정도는 어느 정도인가?
• RQ5 개별 힘 성분(예: 군집 힘)이 전체 예측 성능에 기여하는 정도는 어떠한가?

주요 결과

• SFMGNet은 ETH 및 UCY 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성했으며, 평균 ADE는 0.15 m, FDE는 0.26 m였다.
• ETH 호텔 씬에서 SFMGNet은 ADE 0.07 m, FDE 0.11 m를 기록하여 모든 베이스라인 모델을 압도했다.
• UNIV 데이터셋에서는 ADE = 0.35 m, FDE = 0.64 m를 기록했으며, 여전히 기존 모델보다 뚜렷이 뛰어난 성능을 보였다.
• ETH 및 UCY 데이터셋의 모든 시나리오에서 근접 충돌이 0.0% 발생하여 높은 물리적 실현 가능성과 안전성을 입증했다.
• 절단 실험 결과, 특히 군집 힘 성분이 성능 향상에 크게 기여하며, ADE는 기존 모델(Att)의 평균 1.30 m에서 SFMGNet의 0.15 m로 감소함을 확인했다.
• 모델는 실제 데이터 없이도 합성 데이터만으로도 뛰어난 일반화 성능를 보이며, 강력한 일반화 능력을 입증했다.