[논문 리뷰] Human Trajectory Prediction via Neural Social Physics

Jiangbei Yue, Dinesh Manocha외 1명|arXiv (Cornell University)|2022. 07. 21.

Traffic and Road Safety인용 수 5

한 줄 요약

이 논문은 인간의 궤적 예측을 향상시키기 위해 학습 가능한 물리 기반 사회력 모델과 변분 오토인코더를 통합한 새로운 미분 가능 신경망인 신경 사회물리학(Neural Social Physics, NSP)을 제안한다. 명시적인 물리적 인덕티브 바이어스와 딥 러닝의 데이터 피팅 능력을 결합함으로써 NSP는 최신 기술 수준(SOTA)의 성능(5.56%~70% 향상)을 달성하며, 시각화된 힘을 통해 해석 가능한 운동 설명을 제공하여 블랙박스 모델에 비해 정확도, 일반화 능력, 타당성에서 뛰어난 성능을 발휘한다.

ABSTRACT

Trajectory prediction has been widely pursued in many fields, and many model-based and model-free methods have been explored. The former include rule-based, geometric or optimization-based models, and the latter are mainly comprised of deep learning approaches. In this paper, we propose a new method combining both methodologies based on a new Neural Differential Equation model. Our new model (Neural Social Physics or NSP) is a deep neural network within which we use an explicit physics model with learnable parameters. The explicit physics model serves as a strong inductive bias in modeling pedestrian behaviors, while the rest of the network provides a strong data-fitting capability in terms of system parameter estimation and dynamics stochasticity modeling. We compare NSP with 15 recent deep learning methods on 6 datasets and improve the state-of-the-art performance by 5.56%-70%. Besides, we show that NSP has better generalizability in predicting plausible trajectories in drastically different scenarios where the density is 2-5 times as high as the testing data. Finally, we show that the physics model in NSP can provide plausible explanations for pedestrian behaviors, as opposed to black-box deep learning. Code is available: https://github.com/realcrane/Human-Trajectory-Prediction-via-Neural-Social-Physics.

연구 동기 및 목표

• 순수 모델 기반 방법(낮은 데이터 피팅 능력)과 순수 모델리스 딥 러닝(해석 불가능성 부족)의 한계를 해결하기 위해 인간 궤적 예측에서의 문제를 다루는 것.
• 물리 기반 모델링의 인덕티브 바이어스와 딥 네트워크의 데이터 피팅 능력을 융합한 하이브리드 프레임워크를 개발하는 것.
• 다양하고 고밀도 상황에서 정확하고 일반화 가능하며 설명 가능한 궤적 예측을 가능하게 하는 것.
• 블랙박스 딥 러닝 모델과 달리, 시각화된 물리적 힘을 통해 해석 가능한 운동 설명을 제공하는 것.

제안 방법

• NSP는 학습 가능한 사회력 모델에 기반한 신경 미분방정식 프레임워크를 사용하며, 이 모델의 역학은 사회력 모델을 영감으로 삼지만, 역전파를 통해 최적화되는 파라미터를 포함한다.
• 물리 모델은 목표 향한 힘, 장애물 회피 힘, 사회적 반발력을 포함하며, 각각 연속적인 동역학 시스템 내에서 미분 가능한 항으로 표현된다.
• 운동 역학의 확률적 특성과 관측 노이즈를 모델링하기 위해 조건부 변분 오토인코더(CVAE)를 통합하여 단계별 확률 예측을 가능하게 한다.
• 전체 모델은 점진적인 훈련 방식을 사용해 엔드 투 엔드로 훈련되며, 목표 힘만을 포함한 동역학으로 시작하여 점차 복잡도를 증가시킨다.
• 모델은 궤적 예측 외에도 각 힘의 기여도를 시각화함으로써 행동 분석 기능도 지원한다.
• 표준 평가 지표인 ADE와 FDE를 사용해 여섯 개의 벤치마크 데이터셋에서 평가되었으며, 구성 요소 기여도를 검증하기 위한 아블레이션 스터디가 수행되었다.

실험 결과

연구 질문

• RQ1 학습 가능한 물리 기반 모델이 순수 데이터 기반 딥 러닝 접근법에 비해 궤적 예측 정확도를 향상시킬 수 있는가?
• RQ2 명시적인 물리적 힘의 통합이 훈련 중에 볼 수 없었던 고밀도 상황으로의 일반화를 향상시킬 수 있는가?
• RQ3 미분 가능한 물리 구성 요소의 사용이 보행자 운동에 대한 의미 있고 해석 가능한 설명을 가능하게 하는가?
• RQ4 개별 구성 요소(예: 목표 향한 힘, 반발력, 확률적 특성)가 전체 예측 성능에 기여하는 방식은 어떠한가?
• RQ5 훈련 데이터보다 훨씬 높은 보행자 밀도를 가진 상황에서도 모델이 높은 성능과 타당성을 유지할 수 있는가?

주요 결과

• NSP는 여섯 개의 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성하여, ADE 및 FDE 기준으로 기존 SOTA 방법 대비 5.56%에서 70%까지 향상되었다.
• 모델은 고밀도 상황(테스트 데이터보다 2~5배 높은 밀도)으로의 일반화가 효과적으로 이루어지며, 낮은 충돌률과 타당한 궤적을 유지한다.
• 아블레이션 스터디 결과, CVAE를 통한 확률적 특성 추가로 성능 향상이 두드러지게 발생했으며(ADE: 6.52 → 1.78), 이는 그 중요성을 입증한다.
• NSP-SFM에서 시각화된 힘은 사회적 또는 환경적 힘으로 인한 회피 동작과 같은 궤적 이탈에 대해 타당하고 해석 가능한 설명을 제공한다.
• 오직 목표 향한 힘만을 가진 베이스라인 모델에 비해 성능이 크게 향상됨(ADE: 6.57 → 1.78)하여, 복잡한 환경에서 반발력 힘의 핵심적 역할을 입증한다.
• 블랙박스 모델과 달리, 이 프레임워크는 예측을 넘어서 행동 분석이 가능하며, 힘은 운동 결정의 원인 요소로 해석될 수 있다.