[논문 리뷰] Multi-agent Trajectory Prediction with Fuzzy Query Attention

Nitin Kamra, Hao Zhu외 3명|arXiv (Cornell University)|2020. 10. 29.

Autonomous Vehicle Technology and SafetyEngineering참고 문헌 32인용 수 19

한 줄 요약

이 논문은 다중 에이gent 궤적 예측을 위해 에이gent 상호작용에 대한 연속적(퍼지) 결정을 학습함으로써 관성, 상대 운동, 의도 등의 운동 인덕티브 바이어스를 포착하는 새로운 어텐션 메커니즘인 퍼지 쿼리 어텐션(Fuzzy Query Attention, FQA)을 제안한다. FQA는 관계 기반 그래프 아키텍처를 통해 상호작용 결정과 그 동적 반응을 동시에 학습함으로써 인간 집단, 고속도로 교통, 물리 시뮬레이션, NBA 선수 궤적 등 다양한 도메인에서 최신 기술(SOTA) 성능을 달성한다.

ABSTRACT

Trajectory prediction for scenes with multiple agents and entities is a challenging problem in numerous domains such as traffic prediction, pedestrian tracking and path planning. We present a general architecture to address this challenge which models the crucial inductive biases of motion, namely, inertia, relative motion, intents and interactions. Specifically, we propose a relational model to flexibly model interactions between agents in diverse environments. Since it is well-known that human decision making is fuzzy by nature, at the core of our model lies a novel attention mechanism which models interactions by making continuous-valued (fuzzy) decisions and learning the corresponding responses. Our architecture demonstrates significant performance gains over existing state-of-the-art predictive models in diverse domains such as human crowd trajectories, US freeway traffic, NBA sports data and physics datasets. We also present ablations and augmentations to understand the decision-making process and the source of gains in our model.

연구 동기 및 목표

• 복잡하고 연속적 값의 상호작용을 다중 에이gent 궤적 예측에서 모델링하는 데 도전하는 것 — 이러한 상호작용은 본질적으로 이진이 아니라 퍼지적이다.
• 관성, 상대 운동, 의도, 상호작용 등의 운동 인덕티브 바이어스를 포착할 수 있는 일반화 가능한 아키텍처 개발.
• 새로운 어텐션 메커니즘을 통해 퍼지 결정과 그 동적 반응을 학습함으로써 다양한 도메인에서 예측 성능 향상.
• 수동으로 삽입된 퍼지 결정을 통해 인간 지식을 모델에 통합하여 성능 향상과 해석 가능성 향상 가능.

제안 방법

• 에이전트를 노드로, 상호작용을 학습된 어텐션 메커니즘을 통해 모델링하는 그래프 기반 아키텍처를 사용.
• 핵심 메커니즘은 쿼리 및 키 벡터를 사용해 연속적 값(퍼지) 어텐션 점수를 계산하여 에이전트 쌍 간의 상호작용 정도를 표현.
• 이러한 퍼지 결정은 가중 메시지 전파를 계산하는 데 사용되며, 각 에이전트가 영향을 받는 방식을 학습.
• 퍼지 상호작용 강도에 기반해 에이전트 표현을 동적으로 업데이트하는 관계 기반 메시지 전파 프레임워크 사용.
• 기존에 알려진 퍼지 결정(예: '에이전트 A가 느려지고 있다')을 삽입할 수 있어 인간-인간 통합 증강을 지원.
• 다양한 데이터셋에서 예측 정확도를 최적화하는 손실 함수를 사용해 궤적 데이터를 엔드 투 엔드로 훈련.

실험 결과

연구 질문

• RQ1 이진 또는 이산 상호작용 모델링과 비교해 연속적 값(퍼지) 결정을 사용하는 것이 다중 에이전트 궤적 예측 성능을 향상시키는가?
• RQ2 퍼지 어텐션 메커니즘은 교통, 인파, 물리 시뮬레이션 등 다양한 도메인에서 복잡한 실제 세계 상호작용을 얼마나 효과적으로 포착할 수 있는가?
• RQ3 기타 입력 특징 없이도 퍼지 결정만으로 궤적 데이터의 상호작용 패턴을 얼마나 잘 예측할 수 있는가?
• RQ4 인간이 제공한 퍼지 결정을 모델에 효과적으로 통합할 수 있는가?
• RQ5 다양한 데이터셋에서 상호작용 역학이 다른 경우 FQA는 최신 기술(SOTA) 모델과 비교해 어떻게 성능을 내는가?

주요 결과

• FQA는 인간 집단 궤적, 미국 고속도로 교통(NGSIM), 뉴턴 물리 시뮬레이션, 정전기 입자 운동, NBA 선수 추적 데이터셋에서 최신 기술(SOTA) 모델을 크게 능가하는 성능 확보.
• 기타 입력 특징 없이도 퍼지 결정만으로도 상호작용을 매우 잘 예측함으로써, 퍼지 결정의 본질적 표현 능력을 입증.
• NGSIM 고속도로 데이터셋에서 인간 지식을 퍼지 결정으로 통합함으로써 RMSE 감소 — 경계 및 하위 시나리오 상호작용 효과 모델링 향상.
• 기준 모델이 종종 간과하거나 잘못 표현하는 드문 중요한 사건, 예를 들어 에이전트 간 충돌 및 경계 상호작용을 정확히 모델링.
• 코루프트된 입자에 작용하는 쿠론력 하에서 혼란스러운 시스템에서 FQA는 더 선명하고 현실적인 궤적 생성 — 고가속도 동역학을 더 잘 포착함.
• 강력한 성능에도 불구하고 NBA 데이터셋에서는 높은 의도 의존성과 장기 예측 불확실성으로 인해 여전히 도전 과제 존재 — 이에 따라 보완적인 의도 모델링 필요.