[논문 리뷰] Pedestrian Behavior Prediction via Multitask Learning and Categorical Interaction Modeling.

Amir Rasouli, Mohsen Rohani외 1명|arXiv (Cornell University)|2020. 12. 06.

Autonomous Vehicle Technology and Safety참고 문헌 51인용 수 8

한 줄 요약

이 논문은 다중모달 데이터를 사용하여 보행자 궤적과 행동을 동시에 예측하는 다중작업 학습 프레임워크를 제안한다. 모odal별 인코딩과 공유 표현 학습, 범주형 상호작용 모델링을 결합함으로써, 모델은 최신 기술 수준의 성능을 달성하여 PIE 및 JAAD 벤치마크에서 궤적 예측 성능을 최대 22% 향상시키고 행동 예측 성능을 6% 향상시켰다.

ABSTRACT

Pedestrian behavior prediction is one of the major challenges for intelligent driving systems. Pedestrians often exhibit complex behaviors influenced by various contextual elements. To address this problem, we propose a multitask learning framework that simultaneously predicts trajectories and actions of pedestrians by relying on multimodal data. Our method benefits from 1) a hybrid mechanism to encode different input modalities independently allowing them to develop their own representations, and jointly to produce a representation for all modalities using shared parameters; 2) a novel interaction modeling technique that relies on categorical semantic parsing of the scenes to capture interactions between target pedestrians and their surroundings; and 3) a dual prediction mechanism that uses both independent and shared decoding of multimodal representations. Using public pedestrian behavior benchmark datasets for driving, PIE and JAAD, we highlight the benefits of multitask learning for behavior prediction and show that our model achieves state-of-the-art performance and improves trajectory and action prediction by up to 22% and 6% respectively. We further investigate the contributions of the proposed processing and interaction modeling techniques via extensive ablation studies.

연구 동기 및 목표

• 지능형 주행 시스템에서 복잡한 보행자 행동을 예측하는 데 도전하는 것.
• 다중모달 센서 데이터를 활용하여 궤적 및 행동 예측 정확도를 향상시키는 것.
• 범주형 의미 해석을 통해 보행자와 환경 간의 맥락적 상호작용을 모델링하는 것.
• 궤적 및 행동 예측을 공동으로 최적화하는 통합 프레임워크를 개발하는 것.
• 광범위한 아블레이션 및 벤치마크 평가를 통해 다중작업 학습 및 상호작용 모델링의 유효성을 입증하는 것.

제안 방법

• 다양한 입력 모달리티(예: 시각, LiDAR, 운동)를 독립적으로 처리한 후 공유 파rameter를 통해 융합하는 하이브리드 인코딩 메커니즘을 적용한다.
• 장면 요소(예: 횡단보도, 차량 등)를 표현하고 타겟 보행자와의 상호작용을 모델링하기 위해 범주형 의미 해석 기법을 도입한다.
• 공유 표현과 모달리티별 표현에서 궤적 및 행동 예측을 모두 디코딩하는 이중 예측 메커니즘을 설계한다.
• 공유 및 독립적 디코딩 헤드를 사용하여 작업별 학습과 다중 작업 일반화 사이의 균형을 맞춘다.
• 궤적 및 행동 예측 목표를 통합한 다중작업 손실을 사용하여 모델을 엔드 투 엔드로 훈련시킨다.
• 재현 가능성과 비교 가능성을 확보하기 위해 공개 벤치마크(PIE 및 JAAD)를 활용해 훈련 및 평가를 수행한다.

실험 결과

연구 질문

• RQ1 단일작업 기반 모델 대비 다중작업 학습이 보행자 궤적과 행동의 공동 예측 성능을 향상시키는가?
• RQ2 범주형 의미 해석 기법이 행동 예측을 위한 보행자-환경 상호작용을 모델링하는 데 얼마나 효과적인가?
• RQ3 다양한 작업 간 공유 표현이 예측 성능 향상에 어느 정도 기여하는가?
• RQ4 제안된 상호작용 모델링 기법이 전체 예측 정확도에 기여하는 정도는 어떠한가?
• RQ5 아블레이션 연구를 통해, 프레임워크의 각 구성 요소(인코딩, 상호작용 모델링, 디코딩)가 성능에 미치는 영향은 어떠한가?

주요 결과

• 제안된 다중작업 학습 프레임워크는 보행자 행동 예측 분야에서 PIE 및 JAAD 벤치마크에서 최신 기술 수준의 성능을 달성한다.
• 기준 모델 대비 궤적 예측 정확도가 최대 22% 향상되어 운동 예측 성능 향상이 뚜렷하게 확인된다.
• 기존 방법 대비 행동 예측 성능이 6% 향상되어 보행자의 의도 인식 능력 향상이 확인된다.
• 아블레이션 연구 결과, 범주형 상호작용 모델링과 이중 디코딩 메커니즘이 성능 향상에 기여하는 것으로 확인된다.
• 하이브리드 인코딩 전략은 모달리티별 특징을 효과적으로 캡처하면서도 공유 파rameter를 통해 다중 모달 지식 이동을 가능하게 한다.
• 모델의 성능 향상은 다양한 주행 시나리오에 걸쳐 일관되게 유지되어, 강건성과 일반화 능력을 입증한다.