[논문 리뷰] Forecasting Human Trajectory from Scene History

Mancheng Meng, Ziyan Wu외 5명|arXiv (Cornell University)|2022. 10. 17.

Video Surveillance and Tracking Methods인용 수 13

한 줄 요약

이 논문은 그룹 궤적과 개인-주변 환경 상호작용을 포함한 환경 역사 정보를 활용하여 예측 정확도를 향상시키는 새로운 인간 궤적 예측 프레임워크인 SHENet을 제안한다. 그룹 궤적 뱅크와 크로스모달 상호작용 모듈을 통해 이를 실현하며, ETH, UCY 및 새로운 벤치마크 PAV에서 최신 기술 수준(SOTA) 성능을 달성한다. PETS에서 YNet 대비 FDE 지표에서 16.2% 향상되었으며, 인간 이동의 무작위성과 주관성에 민감도를 낮추기 위해 곡선 스무딩 기법을 도입하였다.

ABSTRACT

Predicting the future trajectory of a person remains a challenging problem, due to randomness and subjectivity of human movement. However, the moving patterns of human in a constrained scenario typically conform to a limited number of regularities to a certain extent, because of the scenario restrictions and person-person or person-object interactivity. Thus, an individual person in this scenario should follow one of the regularities as well. In other words, a person's subsequent trajectory has likely been traveled by others. Based on this hypothesis, we propose to forecast a person's future trajectory by learning from the implicit scene regularities. We call the regularities, inherently derived from the past dynamics of the people and the environment in the scene, scene history. We categorize scene history information into two types: historical group trajectory and individual-surroundings interaction. To exploit these two types of information for trajectory prediction, we propose a novel framework Scene History Excavating Network (SHENet), where the scene history is leveraged in a simple yet effective approach. In particular, we design two components: the group trajectory bank module to extract representative group trajectories as the candidate for future path, and the cross-modal interaction module to model the interaction between individual past trajectory and its surroundings for trajectory refinement. In addition, to mitigate the uncertainty in ground-truth trajectory, caused by the aforementioned randomness and subjectivity of human movement, we propose to include smoothness into the training process and evaluation metrics. We conduct extensive evaluations to validate the efficacy of our proposed framework on ETH, UCY, as well as a new, challenging benchmark dataset PAV, demonstrating superior performance compared to state-of-the-art methods.

연구 동기 및 목표

• 인간 이동의 무작위성과 주관성 문제를 해결하기 위해 궤적 예측의 과제를 다루는 것.
• 특히 과거 그룹 궤적과 개인-주변 환경 상호작용을 포함한 환경 역사를 활용하여 예측 신뢰도를 향상시키는 것.
• 다양하고 복잡한 실제 환경 상황에 걸쳐 잘 일반화되는 프레임워크를 개발하는 것.
• 인간 이동 변동성으로 인한 정답 궤적의 불확실성을 완화하는 것.
• 궤적의 매끄러움을 고려한 새로운 벤치마크 데이터셋(PAV)과 새로운 평가 지표(CS-ADE, CS-FDE)를 도입하는 것.

제안 방법

• 프레임워크는 과거 개인 궤적을 군집화하여 대표성 있는 그룹 궤적을 생성하고 후보 경로 검색을 위한 그룹 궤적 뱅크(GTB) 모듈을 도입한다.
• 크로스모달 상호작용(CMI) 모듈은 개인의 과거 궤적과 환경적 맥락 간의 상호작용을 크로스모달 트랜스포머를 활용해 모델링하여 궤적 정밀도를 향상시킨다.
• 훈련 및 평가 과정에 곡선 스무딩(CS)을 통합하여 갑작스럽거나 노이즈가 많은 인간 이동에 대한 민감도를 감소시킨다.
• 환경 역사는 두 가지 유형으로 분류된다: 과거 그룹 궤적(HGT)과 개인-주변 환경 상호작용(ISI)이며, 이 두 가지를 함께 활용하여 예측을 수행한다.
• GTB 모듈은 K-중심 군집화를 사용하며, 수렴한 훈련 오차 기반으로 적응형 임계값 θ를 활용해 궤적 뱅크를 업데이트한다.
• 예측 궤적이 더 매끄럽게 되도록 유도하기 위해 새로운 손실 함수인 CS 손실 ℒ_cs를 도입하여 이동 주관성에 대한 내구성을 향상시켰다.

실험 결과

연구 질문

• RQ1 제한된 환경에서 과거 그룹 궤적과 같은 환경 역사를 효과적으로 활용하여 인간 궤적 예측 성능을 향상시킬 수 있는가?
• RQ2 개인의 운동 패tern을 넘어서, 개인-주변 환경 상호작용을 어떻게 모델링할 수 있는가?
• RQ3 훈련 및 평가 과정에 곡선 스무딩을 통합할 경우 인간 이동의 무작위성과 주관성에 미치는 영향은 어느 정도 감소하는가?
• RQ4 제안된 SHENet 프레임워크는 최신 기술 수준의 방법들에 비해 다양한 복잡한 실제 환경 상황에서 얼마나 잘 일반화되는가?
• RQ5 클러스터 수와 업데이트 임계값의 차이가 궤적 뱅크의 성능과 안정성에 미치는 영향은 어떠한가?

주요 결과

• SHENet는 ETH 및 UCY 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하여 ADE 및 FDE 지표에서 기존 방법들을 능가한다.
• 새로운 PAV 벤치마크에서 SHENet는 YNet 대비 FDE 지표에서 16.2% 향상되어 복잡하고 도전적인 장면에서 뛰어난 일반화 능력을 입증하였다.
• 곡선 스무딩(CS)의 도입은 갑작스럽거나 노이즈가 많은 이동이 있는 경우 예측 품질을 크게 향상시켰으며, 정성적 비교를 통해 이를 입증하였다.
• K=32 클러스터를 사용한 GTB 모듈이 최적의 성능을 보였으며, 초기 클러스터 수(K=24–36)의 변화에 대해서도 강인한 성능을 유지하였다.
• PETS에서 θ=25, ADL에서 θ=6으로 설정한 적응형 임계값은 수렴한 훈련 오차의 75% 수준이며, 이는 효과적인 궤적 뱅크 업데이트를 보장한다.
• 정성적 결과는 SHENet가 갑작스러운 방향 전환과 같은 복잡한 행동을 성공적으로 예측하는 데에 기여하며, 다른 방법들은 실패하는 것을 보여주어 그룹 궤적 검색의 유용성을 입증한다.