[논문 리뷰] CoMoGCN: Coherent Motion Aware Trajectory Prediction with Graph Representation

Yuying Chen, Congcong Liu외 2명|arXiv (Cornell University)|2020. 05. 02.

Video Surveillance and Tracking Methods참고 문헌 2인용 수 7

한 줄 요약

CoMoGCN는 사회적 상호작용 모델링을 향상시키기 위해 일관된 운동 군집화와 변동형 오토인코더를 통합한 그래프 컬러리티 네트워크(GCN)-기반 궤도 예측 모델을 제안한다. 보행자를 운동 일관성 있는 그룹으로 군집화하고 GCN을 사용해 내부 및 그룹 간 상호작용을 모델링함으로써, 다양한 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하였으며, Social GAN에 비해 평균 ADE 22.4% 향상 및 FDE 22.9% 향상된 성과를 보였다.

ABSTRACT

Forecasting human trajectories is critical for tasks such as robot crowd navigation and autonomous driving. Modeling social interactions is of great importance for accurate group-wise motion prediction. However, most existing methods do not consider information about coherence within the crowd, but rather only pairwise interactions. In this work, we propose a novel framework, coherent motion aware graph convolutional network (CoMoGCN), for trajectory prediction in crowded scenes with group constraints. First, we cluster pedestrian trajectories into groups according to motion coherence. Then, we use graph convolutional networks to aggregate crowd information efficiently. The CoMoGCN also takes advantage of variational autoencoders to capture the multimodal nature of the human trajectories by modeling the distribution. Our method achieves state-of-the-art performance on several different trajectory prediction benchmarks, and the best average performance among all benchmarks considered.

연구 동기 및 목표

• 혼잡한 환경에서 기존 방법들이 쌍별 상호작용만 모델링하고 그룹 수준의 운동 일관성은 忽시하는 한계를 해결하기 위해.
• 일관된 운동 군집화를 통한 중위 사회적 역학을 통합하여 궤도 예측 정확도를 향상시키기 위해.
• 변동량의 인구수를 자연스럽게 처리할 수 있는 확장 가능한, 미분 가능한 프레임워크를 개발하기 위해.
• 강력한 다중모드 궤도 생성을 위해 변동형 오토인코더(VAE)를 활용하기 위해.
• 미래 연구를 지원하기 위해 ETH 및 UCY 데이터셋의 새로운 일관된 운동 레이블이 부여된 버전을 공개하기 위해.

제안 방법

• 일관된 필터링과 DBSCAN 군집화를 조합한 하이브리드 방법을 사용해 보행자 궤도를 운동 일관성 있는 그룹으로 군집화한다.
• 이웃 행렬을 공간적 근접성과 그룹 소속 관계에 기반하여 정의한 그래프 컬러리티 네트워크(GCN)를 사용해 사회적 상호작용 특징을 집계한다.
• 모델은 향후 궤도의 다중모드 분포를 모델링하기 위해 변동형 오토인코더(VAE)를 사용하여 다양한 실재성 있는 예측을 가능하게 한다.
• GCN은 내부 그룹 상호작용과 그룹 간 상호작용을 모두 처리하여, 쌍별 관계를 초월한 복잡한 사회적 역학을 포착할 수 있다.
• 최종 예측은 VAE의 잠재 공간에서 샘플링하여 생성되며, 평균 벡터는 결정론적 추론에 사용된다.
• 재구성 손실과 KL 발산 손실을 사용해 엔드 투 엔드로 프레임워크를 훈련시키며, 확률적 경사 하강법으로 최적화한다.

실험 결과

연구 질문

• RQ1 쌍별 상호작용 모델에 비해 보행자 그룹 내 일관된 운동 패턴을 모델링하는 것이 궤도 예측 정확도 향상에 기여하는가?
• RQ2 그룹 수준의 운동 제약 조건 통합이 궤도 예측 모델의 일반화 및 강인성에 어떤 영향을 미치는가?
• RQ3 동적 인파 상호작용을 모델링할 때 GCN이 전통적인 풀링 기반 집계 기법보다 얼마나 뛰어나게 성능을 내는가?
• RQ4 GAN 기반 대안에 비해 VAE 기반 생성 프레임워크가 다중모드 인간 운동 모델링에 얼마나 향상된 성능을 제공하는가?
• RQ5 하이브리드 레이블링 방법(일관된 필터링 + DBSCAN)은 기존 궤도 데이터셋에서 효과적으로 일관된 운동 그룹을 식별할 수 있으며, 이는 모델 성능에 어떤 영향을 미치는가?

주요 결과

• CoMoGCN는 ETH, UCY, HOTEL, MERTON, MARS의 다섯 개의 벤치마크 데이터셋에서 모두 최신 기술 수준 성능을 달성하였으며, 모든 메트릭에서 최고의 평균 성능을 기록하였다.
• Social GAN(선도적인 GAN 기반 방법)에 비해 평균 ADE 22.4% 향상 및 FDE 22.9% 향상된 성과를 기록하였다.
• VAE를 사용하는 Trajectron에 비해 평균 ADE 15.1% 감소 및 FDE 14.2% 감소한 성과를 기록하였다.
• 제거 분석 결과, GCN 기반 집계 방식은 MLP에 최대 풀링을 사용한 기준 대비 ADE 4.1% 향상 및 FDE 6.9% 향상된 것으로 확인되었다.
• 일관된 운동 정보를 통합함으로써 GCN 전용 기준 대비 ADE 4.3% 향상 및 FDE 3.2% 향상된 것으로 확인되었다.
• 하이브리드 일관된 운동 레이블링 방법(일관된 필터링 + DBSCAN)은 기준 일관된 필터링 방법 대비 ADE 및 FDE 각각 2.2% 향상된 것으로 확인되었다.