[논문 리뷰] Scene Transformer: A unified multi-task model for behavior prediction and planning

Jiquan Ngiam, Benjamin Caine외 12명|arXiv (Cornell University)|2021. 06. 15.

Autonomous Vehicle Technology and Safety인용 수 48

한 줄 요약

이 논문은 트랜스포머 아키텍처 내에서 마스킹 전략을 활용하여 에이전트 행동을 동시에 예측하고 계획을 가능하게 하는 통합형 다중 작업 모델인 Scene Transformer를 제안한다. 에이전트, 도로 요소, 시간 단계 간의 주의를 통해 상호작용을 동적으로 모델링하고, 행동 예측 벤치마크에서 최신 기술 수준의 성능을 달성하며, 다양한 운동 예측 및 계획 작업을 위한 단일 모델의 효과성을 입증한다.

ABSTRACT

Predicting the future motion of multiple agents is necessary for planning in dynamic environments. This task is challenging for autonomous driving since agents (e.g., vehicles and pedestrians) and their associated behaviors may be diverse and influence each other. Most prior work has focused on first predicting independent futures for each agent based on all past motion, and then planning against these independent predictions. However, planning against fixed predictions can suffer from the inability to represent the future interaction possibilities between different agents, leading to sub-optimal planning. In this work, we formulate a model for predicting the behavior of all agents jointly in real-world driving environments in a unified manner. Inspired by recent language modeling approaches, we use a masking strategy as the query to our model, enabling one to invoke a single model to predict agent behavior in many ways, such as potentially conditioned on the goal or full future trajectory of the autonomous vehicle or the behavior of other agents in the environment. Our model architecture fuses heterogeneous world state in a unified Transformer architecture by employing attention across road elements, agent interactions and time steps. We evaluate our approach on autonomous driving datasets for behavior prediction, and achieve state-of-the-art performance. Our work demonstrates that formulating the problem of behavior prediction in a unified architecture with a masking strategy may allow us to have a single model that can perform multiple motion prediction and planning related tasks effectively.

연구 동기 및 목표

• 다중 에이전트 자율 주행 환경에서 향후 예측을 별도로 처리하는 데서 비롯하는 한계를 해결하기 위해.
• 예측 정확도와 계획의 견고성을 향상시키기 위해 에이전트 행동과 상호작용을 공동으로 모델링하기 위해.
• 단일 유연한 아키텍처 아래에서 여러 운동 예측 및 계획 작업을 통합하기 위해.
• 에이전트, 도로 요소, 시간 단계 간의 주의 메커니즘을 활용하여 종합적인 시나리오 이해를 위한 표현 학습을 위해.
• 마스킹 전략을 통해 단일 모델이 다양한 예측 및 계획 쿼리를 효과적으로 처리할 수 있음을 입증하기 위해.

제안 방법

• 모델은 마스킹된 자기주의 메커니즘을 사용하며, 마스크가 미래 예측의 다양성을 생성하는 쿼리 역할을 한다.
• 에이전트, 도로 요소, 시간 상태 등의 이질적 입력을 크로스주의를 통해 통합 표현으로 융합한다.
• 다양한 미래 목표 또는 궤적을 조건으로 삼아, 종단간 학습을 통해 공동 행동 예측 및 계획을 학습할 수 있도록 아키텍처를 설계한다.
• 시간 단계 간의 시간 역학을 모델링하기 위해 학습 가능한 위치 인코딩을 적용한다.
• 다중 작업 손실을 사용하여 자율 주행 데이터셋에서 종단간으로 훈련하며, 행동 예측 및 계획 목표를 동시에 최적화한다.
• 마스킹 전략을 통해 동일한 모델이 AV 궤적 또는 에이전트 목표와 같은 다양한 미래 시나리오에 조건화된 예측을 생성할 수 있다.

실험 결과

연구 질문

• RQ1 통합된 딥 러닝 모델이 동적인 주행 환경에서 행동 예측과 계획을 효과적으로 수행할 수 있는가?
• RQ2 에이전트 상호작용을 공동으로 모델링할 경우, 별도의 예측과 비교해 예측 정확도와 계획 품질은 어떻게 향상되는가?
• RQ3 마스킹 전략을 사용할 때 단일 모델이 다양한 운동 예측 및 계획 작업에 얼마나 일반화되는가?
• RQ4 에이전트, 도로 요소, 시간 단계에 대한 주의가 복잡한 주행 환경의 표현 학습을 향상시키는가?
• RQ5 다양한 계획 목표에 조건화된 다양한 맥락에 부합하는 미래 궤적을 모델이 생성할 수 있는가?

주요 결과

• Scene Transformer는 자율 주행을 위한 행동 예측 벤치마크에서 최신 기술 수준의 성능을 달성한다.
• 에이전트 간 향후 상호작용 가능성들을 포착함으로써 계획의 견고성이 향상됨을 입증한다.
• 마스킹 전략을 통해 동일한 모델이 AV 궤적 또는 에이전트 목표와 같은 다양한 미래 시나리오에 조건화된 예측을 생성할 수 있다.
• 에이전트와 환경을 주의 메커니즘을 통해 공동으로 모델링함으로써 보다 일관되고 현실적인 미래 운동 예측이 가능해진다.
• 예측 및 계획을 위한 별도의 모델이 필요로 하는 수요를 줄여 효율성과 일관성을 향상시킨다.
• 최소한의 아키텍처 변경으로도 행동 예측, 궤적 예측, 계획 등 여러 작업에 일반화되어 적용 가능하다.