[논문 리뷰] Autobots: Latent Variable Sequential Set Transformers

Roger Girgis, Florian Golemo외 6명|arXiv (Cornell University)|2021. 02. 19.

Autonomous Vehicle Technology and Safety참고 문헌 34인용 수 5

한 줄 요약

이 논문은 다중 에이전트 궤적을 에이전트 집합의 시퀀스에 대한 다중 헤드 자기주의 주의를 통해 사회적·시간적 관계를 공동으로 인코딩함으로써 다중 에이전트 궤적을 모델링하는 새로운 잠재변수 순차 집합 트랜스포머 아키텍처인 AutoBots를 소개한다. 이 방법은 NuScenes에서 최신 기술 성능을 달성하고, TrajNet에서 기준선을 능가하여 장면에 일관되고 전역적으로 일관된 미래 궤적을 생성한다.

ABSTRACT

Robust multi-agent trajectory prediction is essential for the safe control of robots and vehicles that interact with humans. Many existing methods treat social and temporal information separately and therefore fall short of modelling the joint future trajectories of all agents in a socially consistent way. To address this, we propose a new class of Latent Variable Sequential Set Transformers which autoregressively model multi-agent trajectories. We refer to these architectures as AutoBots. AutoBots model the contents of sets (e.g. representing the properties of agents in a scene) over time and employ multi-head self-attention blocks over these sequences of sets to encode the sociotemporal relationships between the different actors of a scene. This produces either the trajectory of one ego-agent or a distribution over the future trajectories for all agents under consideration. Our approach works for general sequences of sets and we provide illustrative experiments modelling the sequential structure of the multiple strokes that make up symbols in the Omniglot data. For the single-agent prediction case, we validate our model on the NuScenes motion prediction task and achieve competitive results on the global leaderboard. In the multi-agent forecasting setting, we validate our model on TrajNet. We find that our method outperforms physical extrapolation and recurrent network baselines and generates scene-consistent trajectories.

연구 동기 및 목표

• 기존 방법들이 다중 에이전트 궤적 예측에서 사회적 정보와 시간적 정보를 별도로 다루는 한계를 해결하기 위해.
• 모든 에이전트의 공동 미래 궤적을 사회적으로 일관되게 모델링하는 통합 프레임워크를 개발하기 위해.
• 시간에 따라 변화하는 에이전트 상태를 나타내는 집합의 시퀀스에 대한 자동재귀적 모델링을 가능하게 하기 위해.
• 단일 에이전트 및 다중 에이전트 운동 예측 벤치마크에서 접근법을 검증하기 위해.

제안 방법

• AutoBots는 에이전트 간의 사회적·시간적 의존성을 인코딩하기 위해 집합의 시퀀스에 대해 다중 헤드 자기주의 주의 블록을 사용한다.
• 모델은 미래 궤적의 불확실성을 표현하기 위해 잠재변수를 사용하여 분포 예측을 가능하게 한다.
• 시간에 따라 변화하는 에이전트 집합(예: 위치, 속도)을 시퀀스로 처리하여 시간에 따른 변화를 포착한다.
• 모델은 모든 에이전트의 미래 궤적을 동시에 자동재귀적으로 생성할 수 있도록 설계되어 있다.
• 궤적 예측에 국한되지 않고, 어떤 집합의 시퀀스에도 일반화 가능하도록 설계되어 있다.
• 모델은 단일 에이전트 궤적을 예측하거나 모든 에이전트의 궤적에 대한 분포를 예측하도록 훈련된다.

실험 결과

연구 질문

• RQ1 트랜스포머 기반 아키텍처가 다중 에이전트 궤적 예측에서 사회적 및 시간적 의존성을 공동으로 모델링할 수 있는가?
• RQ2 물리적 외삽 및 순환 기반 기준선과 비교해 제안된 방법이 장면에 일관된 궤적을 얼마나 잘 생성하는가?
• RQ3 집합의 시퀀스에 대한 자동재귀적 모델링이 실제 세계 운동 예측 벤치마크에서 예측 정확도를 얼마나 향상시키는가?
• RQ4 모델은 오미니글로트에서의 순차 기호 스토커 모델링과 같은 비궤적 작업으로도 일반화 가능한가?

주요 결과

• NuScenes 운동 예측 벤치마크에서 AutoBots는 단일 에이전트 궤적 예측에 대해 글로벌 랭킹에서 경쟁력 있는 성능을 달성한다.
• TrajNet 벤치마크에서 AutoBots는 다중 에이전트 궤적 예측에서 물리적 외삽 및 순환 네트워크 기준선을 능가한다.
• 모델은 에이전트 간의 사회적 상호작용을 존중하는 전역적으로 일관된 궤적을 생성한다.
• 오미니글로트에서의 시각적 실험은 모델이 다스토커 기호의 순차적 구조를 효과적으로 포착할 수 있음을 보여준다.
• 잠재변수의 사용은 모델이 미래 궤적에 대한 분포를 예측하고 불확실성을 효과적으로 포착할 수 있도록 한다.
• 아키텍처는 시간에 따라 변화하는 집합을 성공적으로 모델링하여 다양한 순차 집합 작업으로의 강력한 일반화 능력을 보여준다.