[논문 리뷰] GroupNet: Multiscale Hypergraph Neural Networks for Trajectory Prediction with Relational Reasoning

Chenxin Xu, Maosen Li외 3명|arXiv (Cornell University)|2022. 04. 19.

Anomaly Detection Techniques and Applications인용 수 7

한 줄 요약

GroupNet는 학습 가능한 초그래프 구조와 삼성소 상호작용 임베딩(강도, 카테고리, 카테고리별 함수)을 사용하여 에이전트 간의 이원상호작용과 군집상호작용을 모두 모델링하는 다스케일 초그래프 신경망이다. 이는 명시적인 관계 추론을 가능하게 하여 기존 모델에 통합되었을 때 NBA, SDD, ETH-UCY 데이터셋에서 최신 기술 성능을 달성한다.

ABSTRACT

Demystifying the interactions among multiple agents from their past trajectories is fundamental to precise and interpretable trajectory prediction. However, previous works only consider pair-wise interactions with limited relational reasoning. To promote more comprehensive interaction modeling for relational reasoning, we propose GroupNet, a multiscale hypergraph neural network, which is novel in terms of both interaction capturing and representation learning. From the aspect of interaction capturing, we propose a trainable multiscale hypergraph to capture both pair-wise and group-wise interactions at multiple group sizes. From the aspect of interaction representation learning, we propose a three-element format that can be learnt end-to-end and explicitly reason some relational factors including the interaction strength and category. We apply GroupNet into both CVAE-based prediction system and previous state-of-the-art prediction systems for predicting socially plausible trajectories with relational reasoning. To validate the ability of relational reasoning, we experiment with synthetic physics simulations to reflect the ability to capture group behaviors, reason interaction strength and interaction category. To validate the effectiveness of prediction, we conduct extensive experiments on three real-world trajectory prediction datasets, including NBA, SDD and ETH-UCY; and we show that with GroupNet, the CVAE-based prediction system outperforms state-of-the-art methods. We also show that adding GroupNet will further improve the performance of previous state-of-the-art prediction systems.

연구 동기 및 목표

• 이중 관계를 초월한 복잡한 사회적 상호작용을 모델링하여 궤도 예측 성능을 향상시키는 것.
• 차별가능하고 종단간(end-to-end) 방식으로 상호작용 강도와 카테고리를 학습함으로써 명시적인 관계 추론을 가능하게 하는 것.
• 기존 예측 프레임워크에 아키텍처의 대대적 개선 없이도 통합 가능한 플러그-앤플레이 모듈을 개발하는 것.
• 모델이 합성 및 실제 세계 시나리오에서 군집 행동과 상호작용 역학을 얼마나 잘 포착하는지 검증하는 것.

제안 방법

• 데이터로부터 종단간으로 학습되는 다스케일 초그래프를 제안하여 다양한 군집 크기의 상호작용을 포착한다.
• 관계 추론을 위한 삼성소 상호작용 표현 방식을 도입: 신경망 기반 상호작용 강도, 상호작용 카테고리, 카테고리별 함수.
• 다스케일 초그래프를 기반으로 신경망 메시지 전파를 수행하여 상호작용 표현을 에이전트 임베딩으로 집계한다.
• GroupNet의 플러그-앤플레이 능력을 평가하기 위해 CVAE 기반 프레임워크와 최신 기술 모델(NMMP, PECNet, Trajectron++)을 베이스라인으로 사용한다.
• 비지도 관계 추론 능력을 평가하기 위해 합성 물리 시뮬레이션을 적용하며, 군집 행동 포착 및 상호작용 강도 추론을 포함한다.
• 표준 평가 지표(minADE, minFDE)를 사용하여 실세계 데이터셋(NBA, SDD, ETH-UCY)에서 모델을 훈련 및 미세조정한다.

Figure 1 : GroupNet captures both pair-wise and group-wise interactions among multiple agents from their trajectories and infers the interaction category and strength for each interaction group.

실험 결과

연구 질문

• RQ1 학습 가능한 다스케일 초그래프가 다에이전트 궤도 예측에서 이원상호작용과 군집상호작용을 효과적으로 모델링할 수 있는가?
• RQ2 제안된 삼성소 상호작용 표현(강도, 카테고리, 카테고리별 함수)이 지도 없이도 명시적이고 학습 가능한 관계 추론을 가능하게 하는가?
• RQ3 GroupNet은 다양한 상호작용 복잡도를 지닌 실세계 데이터셋에서 일관되게 성능 향상을 이끌 수 있는가?
• RQ4 GroupNet의 성능는 군집 크기와 상호작용의 세분화 수준이 증가함에 따라 어떻게 변화하는가?
• RQ5 GroupNet은 기존 최신 기술 예측 모델에 효과적으로 통합되어 성능을 추가로 향상시킬 수 있는가?

주요 결과

• CVAE 기반 프레임워크에 플러그인 모듈로 통합되었을 때 GroupNet은 NBA, SDD, ETH-UCY 데이터셋에서 최신 기술 성능을 달성한다.
• NBA 데이터셋에서 GroupNet은 1.0초 예측 환경에서 minADE20를 0.34m로 감소시키고 minFDE20를 0.48m로 낮춰 베이스라인을 초월한다.
• NMMP, PECNet, Trajectron++에 통합되었을 때 GroupNet은 세 데이터셋 모두에서 일관되게 성능 향상을 보였다.
• 절단 실험 결과, 군집 스케일이 증가할수록 성능 향상이 이루어지고, 충분한 스케일(예: 1, 2, 5, 11)이 포함되면 안정화됨을 확인했다.
• 합성 물리 시뮬레이션을 통해 GroupNet이 지도 없이도 상호작용 강도와 카테고리를 추론할 수 있음을 확인했으며, 조율된 이동과 같은 군집 행동을 잘 포착했다.
• 모델는 다양한 복잡도와 상호작용 패턴을 지닌 데이터셋 간에서 일관된 성능 향상을 보이며 뛰어난 일반화 능력을 보였다.

Figure 2 : The architecture of GroupNet. GroupNet has two stages: multiscale hypergraph topology inference and multiscale hypergraph neural message passing, where we infer the hypergraph topologies and capture the agent patterns with their interaction, respectively. In multiscale hypergraph neural m