[논문 리뷰] Wayformer: Motion Forecasting via Simple & Efficient Attention Networks

Nigamaa Nayakanti, Rami Al‐Rfou외 4명|arXiv (Cornell University)|2022. 07. 12.

Autonomous Vehicle Technology and Safety인용 수 6

한 줄 요약

Wayformer는 단일 Transformer 인코더에서 조기 융합을 통해 다중모달 입력(예: 에이전트 궤적, 지도 구조, 신호등 상태 등)을 통합하는 단순하고 동질적인 주의 기반 아키텍처를 제안한다. 이후 크로스-어텐션 디코더를 통해 운동 예측 성능을 달성한다. 인코더-디코더 아키텍처는 요약된 쿼리 어텐션 또는 잠재 쿼리 어텐션을 통해 최소한의 아키텍처 복잡성과 효율적인 계산을 통해 Waymo Open Motion Dataset과 Argoverse 랭킹에서 최신 기술 성능을 달성한다.

ABSTRACT

Motion forecasting for autonomous driving is a challenging task because complex driving scenarios result in a heterogeneous mix of static and dynamic inputs. It is an open problem how best to represent and fuse information about road geometry, lane connectivity, time-varying traffic light state, and history of a dynamic set of agents and their interactions into an effective encoding. To model this diverse set of input features, many approaches proposed to design an equally complex system with a diverse set of modality specific modules. This results in systems that are difficult to scale, extend, or tune in rigorous ways to trade off quality and efficiency. In this paper, we present Wayformer, a family of attention based architectures for motion forecasting that are simple and homogeneous. Wayformer offers a compact model description consisting of an attention based scene encoder and a decoder. In the scene encoder we study the choice of early, late and hierarchical fusion of the input modalities. For each fusion type we explore strategies to tradeoff efficiency and quality via factorized attention or latent query attention. We show that early fusion, despite its simplicity of construction, is not only modality agnostic but also achieves state-of-the-art results on both Waymo Open MotionDataset (WOMD) and Argoverse leaderboards, demonstrating the effectiveness of our design philosophy

연구 동기 및 목표

• 에이전트 궤적, 도로 기하학, 신호등 상태와 같은 이질적인 다중모달 입력을 통합하고 확장 가능한 운동 예측 모델로 융합하는 데 도전한다.
• 모달리티별 인코더를 피하고 동일한 주의 기반 설계를 통해 아키텍처 복잡성을 줄인다.
• 요약 어텐션 및 잠재 쿼리 어텐션과 같은 기법을 통해 운동 예측의 효율성과 품질 간의 트레이드오프를 향상시킨다.
• 최소한의 모달리티에 의존하지 않는 설계가 복잡한 수작업 설계된 아키텍처를 능가할 수 있음을 보여준다.

제안 방법

• 모델은 에이전트 이력, 지도, 신호등, 상호작용 등의 다중 모달 입력을 처리하는 데 사용되는 자기 주의 인코더를 사용한다. 이는 처리 파이프라인의 초기 단계에서 다중 모달 입력을 융합한다.
• 세 가지 융합 전략을 탐색한다: 조기 융합(모든 모달리티가 어텐션 이전에 연결됨), 후기 융합(모달리티별 인코더 후 연결), 계층 융합(모달리티별 인코더에 중간 융합 포함).
• 요소 분해 어텐션은 공간적 및 시간적 차원을 별도로 주의하여 계산 비용을 줄인다.
• 잠재 쿼리 어텐션은 쿼리 수를 입력 시퀀스 길이에서 분리하여 고정 해상도 출력을 위한 효율적인 추론을 가능하게 한다.
• 크로스-어텐션 디코더는 인코딩된 시나리오 표현에 주의를 기울여 다양한 다중모달 미래 궤적 분포를 생성한다.
• 전체 아키텍처는 다중모달 궤적 예측 헤드를 통해 끝에서 끝까지 훈련되며, 다양한 미래 결과를 모델링한다.

실험 결과

연구 질문

• RQ1 단순하고 동질적인 주의 기반 아키텍처가 복잡한 모달리티별 설계를 능가할 수 있는가?
• RQ2 모든 모달리티를 조기에 융합하는 것이 후기 또는 계층 융합에 비해 성능과 효율성 측면에서 더 우수한가?
• RQ3 요소 분해 어텐션과 잠재 쿼리 어텐션 기법이 정확도를 훼손하지 않으면서 계산 비용을 얼마나 효과적으로 줄이는가?
• RQ4 모달리티에 의존하지 않는 설계가 Waymo 및 Argoverse와 같은 다양한 벤치마크에서 최신 기술 성능을 달성할 수 있는가?
• RQ5 독립적인 에이전트 모델링과 같은 단순화된 가정이 상호작용이 많은 주행 시나리오에서 성능을 얼마나 제한하는가?

주요 결과

• Wayformer는 Waymo Open Motion Dataset(WOMD)에서 이전 방법보다 단순한 아키텍처로 최신 기술 성능을 달성한다.
• Argoverse 운동 예측 랭킹에서 최신 기술 성능을 달성하여 다양한 벤치마크에서 강력한 일반화 능력을 보여준다.
• 모든 입력 모달리티를 조기에 융합할 경우 최고의 성능를 기록하여 조기 통합이 더 rich한 맥락 정보를 유지함을 시사한다.
• 요소 분해 어텐션과 잠재 쿼리 어텐션은 추론 지연을 크게 줄이며 높은 정확도를 유지하여 실시간 배포를 가능하게 한다.
• 복잡한 도심 환경과 높은 에이전트 밀도를 포함한 다양한 주행 시나리오에서 모델 성능이 뛰어나다.
• 제거 실험을 통해 최소한의 아키텍처 가정을 가진 모달리티에 의존하지 않는 설계가 뛰어난 효율-품질 트레이드오프를 이룬다.