[논문 리뷰] Deep Interactive Motion Prediction and Planning: Playing Games with Motion Prediction Models

J. L. Vázquez Burguete, Alexander Liniger외 3명|arXiv (Cornell University)|2022. 04. 05.

Autonomous Vehicle Technology and Safety인용 수 29

한 줄 요약

논문은 예측과 계획을 게임 이론적 MPC와 새로운 인터랙티브 다중 에이전트 정책(IMAP)로 긴밀히 결합하는 대화형 모션 예측-계획 모듈을 제안한다.

ABSTRACT

In most classical Autonomous Vehicle (AV) stacks, the prediction and planning layers are separated, limiting the planner to react to predictions that are not informed by the planned trajectory of the AV. This work presents a module that tightly couples these layers via a game-theoretic Model Predictive Controller (MPC) that uses a novel interactive multi-agent neural network policy as part of its predictive model. In our setting, the MPC planner considers all the surrounding agents by informing the multi-agent policy with the planned state sequence. Fundamental to the success of our method is the design of a novel multi-agent policy network that can steer a vehicle given the state of the surrounding agents and the map information. The policy network is trained implicitly with ground-truth observation data using backpropagation through time and a differentiable dynamics model to roll out the trajectory forward in time. Finally, we show that our multi-agent policy network learns to drive while interacting with the environment, and, when combined with the game-theoretic MPC planner, can successfully generate interactive behaviors.

연구 동기 및 목표

• 두 에이전트 간의 상호 작용을 고려하기 위해 예측과 계획의 결합을 동기 부여한다.
• 계획된 에고 궤적에 반응하는 다중 에이전트 인터랙티브 예측(IMAP) 정책을 도입한다.
• 미분 가능 역학을 이용한 모델 기반 모방 학습으로 IMAP 정책을 학습한다.
• 지도 정보를 포함하고 에이전트 간 상호 작용을 반영하여 반응적 의사 결정 능력을 향상시킨다.
• 대규모 모션 데이터셋에서 인터랙티브 행동 생성을 시연한다.

제안 방법

• 상태, 은닉 상태, 지도에 매핑하고 미분 가능 유니사이클 다이내믹스 모델을 사용하는 추상 다중 에이전트 정책을 형식화한다.
• 역전파를 통한 시간(backpropagation through time)과 상태 궤적에 대한 모방 손실을 사용하여 모델 기반 모방 학습으로 정책을 학습한다.
• IMAP 정책을 의도(intention, 에이전트에 대한 주의), 물리(상태에 대한 그래프 신경망), 지도(map) 상호작용 모듈로 구성한다( VectorNet 기반 지도 인코딩과 교차 주의 포함).
• 반응적 행동을 촉진하기 위해 순환 GRU 백본으로 상호작용 임베딩을 융합하고 차별화 가능한 다이내믹스에 대해 스쿼시된 가우시안로 행동을 생성한다.
• 폐쇄 루프 학습을 적용하여 단순한 외삽이 아니라 최선 응답과 같은 계획을 게임 이론적 MPC 설정에서 가능하게 한다.
• 상호작용 궤적을 롤아웃하고 엔드 투 엔드 학습을 인터랙티브 예측-계획 프레임워크 내에서 수행하기 위해 차별화 가능한 다이내믹스 모델을 활용한다.

실험 결과

연구 질문

• RQ1 학습된 다중 에이전트 정책이 MPC 플래너에 내재되어 명시적 보상 함수 학습 없이도 자가 및 다른 에이전트의 상호 작용을 포착할 수 있는가?
• RQ2 IMAP 정책에서 의도, 물리, 지도 상호작용을 포함시키면 실제 데이터셋에서 반응적 예측 및 계획 성능이 향상되는가?
• RQ3 차별화 가능한 다이내믹스를 사용하는 모델 기반 모방 학습이 다수의 에이전트에 대해 안정적이고 인터랙티브한 궤적 생성을 가능하게 하는가?
• RQ4 HD-맵 정보와 다중 에이전트 상호작용을 조건으로 할 때 인터랙티브 예측-계획 모듈의 성능은 어떻게 되는가?

주요 결과

• 인터랙티브 예측-계획 모듈이 예측과 게임 이론적 계획을 결합하여 가능하고 상호작용적 행동을 생성할 수 있다.
• 새로운 IMAP 정책이 차별화 가능한 다이내믹스로 모델 기반 모방 학습을 통해 환경과 상호 작용하며 운전을 학습할 수 있다.
• 의도, 물리, 지도 상호작용의 세 가지 채널이 GRU, GNN, VectorNet 구성요소를 통해 통합되어 실행 가능한 궤적을 생성한다.
• 정책은 Lyft Level 5 및 Waymo Open Motion Dataset에서 반응적 행동을 시연한다.
• 학습은 폐쇄 루프의 교사 강제(teacher-forcing) 방식에 영감을 받아 과도한 외삽을 피하고 충돌 회피 및 차선 유지 기술을 촉진한다.