[논문 리뷰] Interaction Modeling with Multiplex Attention

Fan-Yun Sun, Isaac Kauvar외 5명|arXiv (Cornell University)|2022. 08. 23.

Anomaly Detection Techniques and Applications인용 수 11

한 줄 요약

이 논문은 다중 잠재 그래프와 주목사용 메커니즘을 사용하여 다중 에이전트 시스템에서 목표 향한 이동과 충돌 회피와 같은 다수의 독립적인 상호작용 유형을 명시적으로 표현하는, 새로운 궤적 예측 모델인 상호작용 모델링을 위한 다중 주목사용(Interaction Modeling with Multiplex Attention, IMMA)을 제안한다. 프로그레시브 레이어 트레이닝(Progressive Layer Training, PLT)을 도입함으로써 IMMA는 사회적 주행, 협동 작업, 팀 스포츠 등 다양한 환경에서 궤적 예측 및 관계 추론 성능를 최고 수준으로 달성하면서 해석 가능성과 제로 샷 일반화 능력을 향상시킨다.

ABSTRACT

Modeling multi-agent systems requires understanding how agents interact. Such systems are often difficult to model because they can involve a variety of types of interactions that layer together to drive rich social behavioral dynamics. Here we introduce a method for accurately modeling multi-agent systems. We present Interaction Modeling with Multiplex Attention (IMMA), a forward prediction model that uses a multiplex latent graph to represent multiple independent types of interactions and attention to account for relations of different strengths. We also introduce Progressive Layer Training, a training strategy for this architecture. We show that our approach outperforms state-of-the-art models in trajectory forecasting and relation inference, spanning three multi-agent scenarios: social navigation, cooperative task achievement, and team sports. We further demonstrate that our approach can improve zero-shot generalization and allows us to probe how different interactions impact agent behavior.

연구 동기 및 목표

• 기존 모델에서 혼동되는 목표 향한 이동과 충돌 회피와 같은 복잡하고 층화된 상호작용을 다루는 데 도전하는 것.
• 사회적 주행, 협동 작업, 팀 스포츠와 같은 다양한 사회적 다중 에이전트 환경에서 궤적 예측 정확도 및 관계 추론 능력을 향상시키는 것.
• 다중 그래프 구조를 통해 상호작용 유형을 명시적으로 분리함으로써 모델의 해석 가능성 향상시키는 것.
• 미래 환경에서의 더 나은 제로 샷 일반화 및 조건부 생성 능력을 제공하는 것.
• 예측 정확도를 희생시키지 않은 채 성능 향상과 분리도 향상을 위한 훈련 전략 개발

제안 방법

• 각 레이어가 별개의 상호작용 유형(예: 목적지 향한 이동, 충돌 회피)을 나타내는 다중 잠재 그래프를 사용하며, 노드는 레이어 간에 복제된다.
• 각 레이어 내에서 주목사용 메커니즘을 적용하여 에이전트 간 관계의 강도를 모델링함으로써 상호작용 영향력의 동적 가중치를 부여한다.
• 프로그레시브 레이어 트레이닝(PLT)은 더 단순한 관계부터 시작하여 하나의 상호작용 레이어씩 훈련함으로써 최적화 및 분리도 향상을 도모한다.
• 모델은 궤적 예측 손실을 통해 엔드 투 엔드로 훈련되며, 상호작용 유형에 대한 명시적 지도 없이도 행동에서 고수준의 관계를 추론할 수 있다.
• 각 레이어를 처리하기 위해 그래프 주목사용 네트워크(GAT) 기반 아키텍처를 사용하며, 최종 예측을 위한 레이어 간 집합 처리를 수행한다.
• 상호작용 유형을 분리하고 제어 가능한 추론을 가능하게 하여 조건부 생성 및 제로 샷 일반화를 지원한다.

실험 결과

연구 질문

• RQ1 다중 주목사용 그래프 구조가 층화된 상호작용을 가지는 다중 에이전트 시스템에서 궤적 예측 성능 향상에 기여하는가?
• RQ2 프로그레시브 레이어 트레이닝(PLT)이 다중 에이전트 예측에서 성능 향상과 해석 가능성 향상에 기여하는가?
• RQ3 IMMA는 더 빠른 에이전트, 높은 밀도 또는 더 많은 에이전트를 포함한 새로운 환경으로 일반화하는 데 얼마나 잘 성능을 내는가?
• RQ4 명시적 지도 없이도 IMMA가 의미 있고 분리된 상호작용 유형(예: 협동 vs. 회피)을 얼마나 잘 추론할 수 있는가?
• RQ5 모델의 분리된 표현이 조건부 생성을 지원하고 샘플 효율성을 향상시키는 데 기여하는가?

주요 결과

• Social Navigation 환경에서 프로그레시브 레이어 트레이닝을 적용한 IMMA(MG + PLT)는 ADE(0.192 ± 0.001)와 FDE(0.383 ± 0.002)를 기록하여 모든 베이스라인을 압도한다.
• 2배 더 많은 에이전트로 일반화하는 설정에서 MG + PLT는 ADE 0.195 ± 0.001과 FDE 0.406 ± 0.002를 달성했으며, 다음으로 우수한 베이스라인(FDE: 0.659 ± 0.007)보다 뚜렷한 성능 향상을 보였다.
• 2배 더 많은 에이전트 설정에서 IMMA는 그래프 정확도 81.38 ± 0.29%를 기록하여 강력한 관계 추론 능력을 보였다.
• 제로 샷 일반화 테스트에서는 MG + PLT가 모든 수정된 환경(2배 속도, 2배 작고, 2배 더 많은 에이전트)에서 뛰어난 성능 유지를 보였으며, ADE 및 FDE 모두 일관된 향상이 있었다.
• 샘플 효율성 분석 결과, IMMA는 모든 훈련 데이터 레지임에서 RFM을 초월했으며, 특히 저자료 설정에서 두드러진 성능을 보였다.
• NMI 점수를 통한 검증 결과, PLT를 통해 레이어를 명시적으로 모델링한 모델은 정확도를 희생시키지 않은 채 더 나은 분리도를 보였다(NMI: 0.13), 반면 명시적 분리도 손실을 사용한 방법은 NMI: 0.042에 그쳤다.