[논문 리뷰] Multiple Futures Prediction

Yichuan Tang, Ruslan Salakhutdinov|arXiv (Cornell University)|2019. 11. 04.

Autonomous Vehicle Technology and Safety인용 수 119

한 줄 요약

MFP는 확률적, 엔드-투-엔드 프레임워크로, 이산 잠재 변수들을 갖고 서로 상호작용하는 멀티모달 미래 궤적을 임의의 다수 에이전트에 대해 공동으로 예측하며, 닫힌 형태의 확률 및 운전 데이터셋에서의 가설적 롤아웃을 시연한다.

ABSTRACT

Temporal prediction is critical for making intelligent and robust decisions in complex dynamic environments. Motion prediction needs to model the inherently uncertain future which often contains multiple potential outcomes, due to multi-agent interactions and the latent goals of others. Towards these goals, we introduce a probabilistic framework that efficiently learns latent variables to jointly model the multi-step future motions of agents in a scene. Our framework is data-driven and learns semantically meaningful latent variables to represent the multimodal future, without requiring explicit labels. Using a dynamic attention-based state encoder, we learn to encode the past as well as the future interactions among agents, efficiently scaling to any number of agents. Finally, our model can be used for planning via computing a conditional probability density over the trajectories of other agents given a hypothetical rollout of the 'self' agent. We demonstrate our algorithms by predicting vehicle trajectories of both simulated and real data, demonstrating the state-of-the-art results on several vehicle trajectory datasets.

연구 동기 및 목표

• 다이나믹하고 다중 에이전트 환경에서 여러 개의 그럴듯한 미래를 예측하여 견고하고 안전한 의사결정을 촉진한다.
• 고정된 에이전트 수나 명시적 모드 라벨 없이 에이전트 간 상호작용과 맥락을 포착하는 확장 가능한 모델을 개발한다.
• 데이터로부터 직접 의미 있는 잠재 모드를 학습하여 다양한 미래 행동을 표현한다.
• 가상화된 에이전트 롤아웃을 바탕으로 조건부 궤적 분포를 평가하여 가설적 추론을 통한 계획을 가능하게 한다.

제안 방법

• 임의의 N에 대해 확장 가능하도록 시간과 에이전트 전반의 공동 미래를 인수분해하는 순차적 확률적 잠재변수 모델(MFP)을 제안한다.
• 라벨이 지정된 의도가 없이 다중 모드를 포착하기 위해 K개의 다항 분포에서 샘플링된 에이전트당 하나의 이산 잠재변수 z^n을 사용한다.
• 에이전트별 PoV 인코더, 동적 주의(attention) 기반 상태 인코딩, 가중치를 공유하는 에이전트별 디코딩 RNN을 구현하여 미래 궤적을 예측한다.
• 작은 K로 인해 이산 Z에 대한 정확한 사후를 계산할 수 있어 ELBO를 이용한 EM 유사 최적화로 계산 가능한 학습 목표를 제공한다.
• 다른 에이전트의 예측된 미래에 각 에이전트의 미래를 조건으로 하는 공동의 상호작용 롤아웃을 허용하여 가설적 추론(자기 에고 궤적에 조건)을 가능하게 한다.
• 트랙터블한 가능도와 계획을 위해 에이전트별 미래를 5D 가우시안(mu_x, mu_y, sigma_x, sigma_y, rho)으로 출력한다.

실험 결과

연구 질문

• RQ1 레이블이 지정된 모드 없이 가변 수의 에이전트에 대해 다중 모드의 상호작용 미래를 단일 잠재 변수 프레임워크로 포착할 수 있는가?
• RQ2 이산 잠재 변수를 어떻게 사용해 여러 타임스텝에 걸쳐 지속되는 의미 있는 미래 모드를 학습할 수 있는가?
• RQ3 계획을 위한 조건부 궤적 확률과 가설적 롤아웃의 효율적이고 닫힌 형태의 평가를 수행할 수 있는가?
• RQ4 동적 어텐션 인코딩이 다중 에이전트 예측을 위한 상호작용 및 화면 맥락의 상태 표현을 개선하는가?

주요 결과

• MFP는 감독 없이 의미 있는 잠재 모드를 학습하여 에이전트 간의 직진, 정지, 우회전 등과 같은 서로 다른 행동을 표현한다.
• 공유 매개변수를 갖는 에이전트별 RNN과 시간 및 에이전트에 걸친 요인화 가능도을 통해 임의 개수의 에이전트로 확장된다.
• CARLA, NGSIM, Argoverse 데이터셋에서 다수의 지표에 대해 최첨단 또는 경쟁력 있는 결과를 달성한다.
• 가설적 롤아웃은 하나 이상의 에이전트 궤적에 조건을 걸어 계획 작업용 조건부 예측을 얻을 수 있게 한다.
• 동적 어텐션 인코딩은 에이전트 간 관계와 화면 맥락을 효과적으로 인코딩하여 예측 품질을 향상시킨다.