[논문 리뷰] PedFormer: Pedestrian Behavior Prediction via Cross-Modal Attention Modulation and Gated Multitask Learning

Amir Rasouli, Iuliia Kotseruba|arXiv (Cornell University)|2022. 10. 14.

Autonomous Vehicle Technology and Safety인용 수 4

한 줄 요약

PedFormer는 자이로스코프 영상, 운동 데이터 및 환경 데이터를 활용하여 보행자 궤적과 횡단 행동을 동시에 예측하기 위해 게이트형 다중작업 학습을 통합한 크로스모달 트랜스포머 기반 프레임워크를 제안한다. 크로스모달 어텐션, 동적 상호작용 모델링 및 게이트형 하이브리드 디코더를 통합함으로써 최신 기술 수준(SOTA) 성능을 달성하였으며, 궤적 예측에서 최대 22% 향상되고 행동 예측에서 최대 13% 향상되는 결과를 보였다.

ABSTRACT

Predicting pedestrian behavior is a crucial task for intelligent driving systems. Accurate predictions require a deep understanding of various contextual elements that potentially impact the way pedestrians behave. To address this challenge, we propose a novel framework that relies on different data modalities to predict future trajectories and crossing actions of pedestrians from an ego-centric perspective. Specifically, our model utilizes a cross-modal Transformer architecture to capture dependencies between different data types. The output of the Transformer is augmented with representations of interactions between pedestrians and other traffic agents conditioned on the pedestrian and ego-vehicle dynamics that are generated via a semantic attentive interaction module. Lastly, the context encodings are fed into a multi-stream decoder framework using a gated-shared network. We evaluate our algorithm on public pedestrian behavior benchmarks, PIE and JAAD, and show that our model improves state-of-the-art in trajectory and action prediction by up to 22% and 13% respectively on various metrics. The advantages brought by components of our model are investigated via extensive ablation studies.

연구 동기 및 목표

• 도심 주행 환경에서 보행자 행동을 정확하게 예측하기 위한 과제를 해결하기 위해 향후 궤적과 횡단 행동을 함께 모델링하고자 한다.
• 시각, 운동, 환경 맥락 등의 다중모달 데이터를 크로스모달 어텐션 기반 기법을 통해 활용하여 예측 성능을 향상시키고자 한다.
• 정적 환경 표현에 차량 및 보행자의 동적 운동을 통합하여 보행자 및 교통 참가자 간의 상호작용 모델링을 향상시키고자 한다.
• 궤적 및 행동 예측 작업 간 지식 공유를 효과적으로 수행하면서 간섭을 최소화하는 강력한 디코딩 아키텍처를 설계하고자 한다.
• 공개 벤치마크에서 광범위한 아블레이션 연구를 통해 각 구성 요소의 효과성을 검증하고자 한다.

제안 방법

• 모델은 시각, 운동, 환경 모달 간의 상관관계를 학습하기 위해 다양한 데이터 유형의 쿼리, 키, 밸류 표현을 사용하는 크로스모달 트랜스포머 인코더를 사용한다.
• 상호작용 모델링 모듈은 보행자 및 자동차 운동을 정적 환경 특징과 융합하여 맥락 인식 표현을 생성하는 듀얼 어텐션 기반 기법을 활용한다.
• 상호작용 표현은 모달 인코딩 출력과 연결되어 게이트형 하이브리드 다중스트림 디코더에 입력되어 궤적과 행동 예측을 동시에 수행한다.
• 게이트형 디코더는 공유 표현에서 작업별 디코더로의 정보 흐름을 제어하기 위한 학습 가능한 게이팅 메커니즘을 사용하여 특징 선택적 활용을 가능하게 한다.
• 프레임워크는 궤적 및 행동 예측을 함께 최적화하는 다중작업 학습 목표를 사용하며, 공유 및 작업별 헤드를 모두 포함한다.
• 모델은 ADE, FDE, AUC, F1, IoU 등의 표준 지표를 사용하여 PIE 및 JAAD 데이터셋에서 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 시각, 운동, 환경 데이터 간의 크로스모달 어텐션 조절이 보행자 행동 예측에 어떤 영향을 미치는가?
• RQ2 보행자와 자동차 간의 동적 상호작용 모델링을 통합할 경우 예측 정확도는 어느 정도 향상되는가?
• RQ3 게이트형 하이브리드 디코더 아키텍처가 공유 또는 작업별 디코더와 비교해 다중작업 보행자 예측에서 어떤 성능을 보이는가?
• RQ4 크로스모달 어텐션, 상호작용 모델링, 게이트형 디코딩 각 구성 요소가 전체 성능에 기여하는 정도는 어떠한가?
• RQ5 궤적과 행동 예측을 동시에 수행하는 것이 단일작업 접근 방식보다 더 나은 성능을 내는가?

주요 결과

• PedFormer는 PIE 및 JAAD 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하였으며, 궤적 예측 지표(ADE, FDE, ARB, FRB)에서 최대 22% 향상되었다.
• 크로스모달 어텐션의 포함으로 성능 향상이 뚜렷하게 나타났으며, 이를 포함하지 않은 기준 모델 대비 궤적 지표에서 최대 12% 향상되고 행동 지표(AUC, F1)에서 최대 3% 향상되었다.
• 운동 및 정적 환경 특징를 융합하는 제안된 상호작용 모델링 모듈은 아블레이션 기준 모델 대비 궤적 예측에서 최대 12% 향상되고 행동 예측에서 최대 3% 향상되었다.
• 게이트형 하이브리드 디코더는 작업 기반, 공유, 이중 디코더보다 우수한 성능을 보였으며, 궤적 지표에서 최대 12% 향상되고 행동 지표에서 최대 4% 향상되었다.
• 아블레이션 연구 결과, 운동 인코딩을 제거하거나 어텐션 기반 상호작용 모델링 대신 단순한 1×1 컨볼루션을 사용할 경우 성능 저하가 발생함을 확인하였으며, 이는 동적 맥락의 중요성을 강조한다.
• 정성적 결과에서는 PedFormer가 특히 회전이나 가속 등 고속 자동차 운동 상황에서 더 정확하고 강력한 예측을 생성하는 것으로 나타났다.