[논문 리뷰] Action-based Contrastive Learning for Trajectory Prediction

Marah Halawa, Olaf Hellwich외 1명|arXiv (Cornell University)|2022. 07. 18.

Autonomous Vehicle Technology and Safety인용 수 4

한 줄 요약

이 논문은 훈련 중 보행자 행동 레이블을 활용하여 궤적 임베딩 공간 학습을 이끄는 행동 기반 대비 학습 프레임워크를 제안한다. 새로운 행동 기반 대비 손실을 도입하고, CVAE로부터 생성된 합성 궤적을 활용하여 샘플링을 향상시킴으로써, 세 가지 1인칭 궤적 예측 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하며, 기존 방법들을 능가하는 행동 인식 능력을 갖춘 표현을 학습한다.

ABSTRACT

Trajectory prediction is an essential task for successful human robot interaction, such as in autonomous driving. In this work, we address the problem of predicting future pedestrian trajectories in a first person view setting with a moving camera. To that end, we propose a novel action-based contrastive learning loss, that utilizes pedestrian action information to improve the learned trajectory embeddings. The fundamental idea behind this new loss is that trajectories of pedestrians performing the same action should be closer to each other in the feature space than the trajectories of pedestrians with significantly different actions. In other words, we argue that behavioral information about pedestrian action influences their future trajectory. Furthermore, we introduce a novel sampling strategy for trajectories that is able to effectively increase negative and positive contrastive samples. Additional synthetic trajectory samples are generated using a trained Conditional Variational Autoencoder (CVAE), which is at the core of several models developed for trajectory prediction. Results show that our proposed contrastive framework employs contextual information about pedestrian behavior, i.e. action, effectively, and it learns a better trajectory representation. Thus, integrating the proposed contrastive framework within a trajectory prediction model improves its results and outperforms state-of-the-art methods on three trajectory prediction benchmarks [31, 32, 26].

연구 동기 및 목표

• 행동 정보를 학습 과정에 통합하여 1인칭 시점 환경에서 궤적 예측 성능을 향상시키는 것.
• 특히 행동 클래스에 조건을 두었을 때 부족한 양성 및 음성 대비 샘플 문제를 해결하는 것.
• CVAE의 학습된 잠재 분포를 활용하여 히ュ리스틱 기반 음성 마이닝을 피하는 샘플링 전략을 개발하는 것.
• 행동 인식 궤적 표현이 더 나은 일반화 및 예측 성능을 이끌 수 있음을 입증하는 것.
• CVAE로부터의 합성 데이터 생성을 통해 행동 레이블에 대한 의존도를 줄여 준반-초기 학습을 가능하게 하는 것.

제안 방법

• 동일한 행동을 수행하는 보행자의 궤적들이 특징 공간에서 더 가까운 임베딩을 가지도록 유도하는 행동 기반 대비 손실을 제안한다.
• 조건부 변동형 오토인코더(CVAE)를 사용하여 합성 궤적 샘플을 생성하며, 이를 통해 양성 및 음성 대비 쌍의 수를 늘린다.
• 학습 가능한 가중치 하이퍼파ram터 β를 통해 주 예측 손실에 행동 기반 대비 손실을 정규화 항으로 통합한다.
• 새로운 샘플링 전략을 도입하여 동일한 행동 클래스에 속하는 궤적을 양성 샘플로, 다른 행동 클래스에 속하는 궤적을 음성 샘플로 간주한다.
• CVAE의 학습된 잠재 공간을 활용해 다양하고 현실적인 궤적을 샘플링함으로써 대비 쌍의 다양성과 품질을 향상시킨다.
• 실제 및 합성 궤적을 동시에 사용하여 엔드 투 엔드로 모델을 훈련시키며, 합성 데이터에 대해 행동 레이블이 필요 없이 효과적인 대비 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 대비 학습 과정에 보행자 행동 정보를 통합하면 궤적 예측 성능 향상에 기여하는가?
• RQ2 CVAE로부터 생성된 합성 궤적을 사용하면 양성 및 음성 대비 샘플의 품질과 다양성이 향상되는가?
• RQ3 제안된 행동 기반 대비 손실은 궤적 예측 과제에서 표준 대비 손실(SimCLR)과 비교해 어떻게 성능을 냈는가?
• RQ4 하이퍼파ram터 β로 제어되는 주 예측 손실과 대비 정규화 손실 간 최적의 균형은 무엇인가?
• RQ5 CVAE로부터의 합성 데이터를 활용하면 학습 중 행동 레이블에 대한 의존도를 줄일 수 있는가?

주요 결과

• 제안된 행동 기반 대비 학습 프레임워크(ABC+)는 PIE, JAAD, TITAN을 포함한 세 가지 1인칭 궤적 예측 벤치마크에서 최신 기술 수준 성능을 달성한다.
• TITAN 데이터셋에서 ABC+는 C-FDE를 843에서 165로, C-ADE(1.5)를 434에서 302로 감소시켜 뚜렷한 성능 향상을 보였다.
• 절단 분석 결과 ABC+(합성 샘플 없이)보다 ABC+가 우수함을 입증하며, CVAE 기반 샘플링 전략의 효과성을 확인했다.
• 모든 데이터셋에서 하이퍼파ram터 β를 0.75로 설정할 경우 최고의 성능를 기록하여 예측 손실과 대비 손실 간 최적의 균형을 이룬다.
• 행동 기반 대비 손실이 표준 SimCLR 대비 손실보다 우수함을 입증하며, 행동 인식 지도 학습이 궤적 표현 학습에 긍정적인 영향을 미친다.
• CVAE로부터 생성된 합성 샘플은 행동 레이블이 필요 없어, 프레임워크가 반-초기 학습을 가능하게 하며, 레이블링된 행동 데이터에 대한 의존도를 감소시킨다.