[논문 리뷰] Exploiting map information for self-supervised learning in motion forecasting

Caio Azevedo, Thomas Gilles외 2명|arXiv (Cornell University)|2022. 10. 10.

Human Pose and Action Recognition인용 수 4

한 줄 요약

이 논문은 운동 예측 성능을 향상시키기 위해 지도 그래프의 연결성을 활용하는 자기지도 학습 보조 과제인 Map Trajectories를 제안한다. 다양한 지도 조건부 궤적 생성에서 사전 훈련을 수행함으로써, Argoverse, Interaction, NuScenes에서 minFDE₆에 대해 최대 20.3% 향상되고 MissRate₆에 대해 33.3% 향상되며, Interaction 챌린지에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Inspired by recent developments regarding the application of self-supervised learning (SSL), we devise an auxiliary task for trajectory prediction that takes advantage of map-only information such as graph connectivity with the intent of improving map comprehension and generalization. We apply this auxiliary task through two frameworks - multitasking and pretraining. In either framework we observe significant improvement of our baseline in metrics such as $\mathrm{minFDE}_6$ (as much as 20.3%) and $\mathrm{MissRate}_6$ (as much as 33.3%), as well as a richer comprehension of map features demonstrated by different training configurations. The results obtained were consistent in all three data sets used for experiments: Argoverse, Interaction and NuScenes. We also submit our new pretrained model's results to the Interaction challenge and achieve $ extit{1st}$ place with respect to $\mathrm{minFDE}_6$ and $\mathrm{minADE}_6$.

연구 동기 및 목표

• 자기지도 학습을 통해 지도 이해 능력을 향상시켜 운동 예측의 일반화 성능을 향상시키는 것.
• 차선 연결성과 같은 지도 전용 정보가 궤적 예측을 위한 자기지도 학습의 효과적인 보조 과제로 기능할 수 있는지 조사하는 것.
• 지도 기반 보조 과제를 활용할 때 사전 훈련 프레임워크와 다중 과제 학습 프레임워크의 효과성을 평가하는 것.
• 다양한 지도 기하학적 형태에서 사전 훈련을 수행함으로써, 예측 모델이 새로운 지도 유형(예: 원형 교차로)에 대해 얼마나 강건한지 평가하는 것.

제안 방법

• 지정된 시작 위치에서 차선 레이어 그래프 연결성을 사용하여 다양한 미래 궤적을 생성하는 자기지도 학습 보조 과제인 Map Trajectories를 설계한다.
• 속도, 가속도, 과거/미래 궤적 길이를 변화시켜 궤적을 생성하고, 실제 세계의 변동성을 시뮬레이션하기 위해 제어된 노이즈를 적용한다.
• 보조 과제를 두 가지 프레임워크에 적용한다: 다중 과제 학습(주 과제와 함께 동시 최적화)과 사전 훈련-피팅 조정(지도 데이터에서 사전 훈련 후 궤적 데이터에서 피팅 조정).
• 지도 및 에이전트 상호작용을 인코딩하기 위해 그래프 주의력과 그래프 컨볼루션 네트워크를 사용하는 기본 모델을 사용하며, 전체 궤적 예측과 그 확률을 디코딩한다.
• 조합 손실을 적용한다: 궤적 예측에는 스무스 L1 손실, 예측 확률에는 교차 엔트로피 손실을 사용하며, 주 손실은 두 항의 가중 합이다.
• 지도 데이터에서 진짜 궤적 없이 대규모 지도 데이터에서 사전 훈련을 수행함으로써, 구조적 지도 표현을 학습할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 차선 연결성과 같은 지도 전용 정보가 자기지도 학습을 통해 운동 예측의 일반화 성능 향상에 기여할 수 있는가?
• RQ2 지도 기반 보조 과제에서 사전 훈련을 수행하면 다중 과제 학습보다 더 높은 성능을 내는가?
• RQ3 사전 훈련 데이터에 원형 교차로가 포함되지 않았을 경우, 모델은 원형 교차로 지도에 대해 얼마나 잘 일반화되는가?
• RQ4 각 궤적 생성 단계(예: 일정 가속도, 노이즈)가 자기지도 과제의 최종 성능에 기여하는 정도는 어느 정도인가?

주요 결과

• Map Trajectories 사전 훈련 프레임워크는 Argoverse 데이터셋에서 minFDE₆에 대해 20.3% 상대적 감소와 MissRate₆에 대해 33.3% 감소를 달성했다.
• Interaction 데이터셋에서 이 방법은 최저의 minFDE₆ 및 minADE₆ 점수를 기록하여 챌린지에서 1등를 차지했으며, 강력한 일반화 능력을 보였다.
• 사전 훈련 데이터에 원형 교차로가 포함되지 않았음에도 불구하고, 원형 교차로 지도에서 minFDE₆에 대해 29.3% 상대적 향상이 이루어져, 지도 구조 일반화 능력이 뛰어나다는 것을 시사했다.
• 제거 분석 결과, 고정 가속도와 노이즈와 같은 각 궤적 생성 단계가 직접 사전 훈련 성능과 피팅 조정된 지표 양쪽 모두를 향상시켰다.
• 사전 훈련 성능과 피팅 조정 성능 간의 강한 상관관계가 관찰되어, 사전 훈련 품질이 후속 작업 성공 여부를 신뢰할 수 있는 지표임을 시사했다.
• 사전 훈련 프레임워크가 다중 과제 학습보다 뛰어난 성능을 보여, 이 특정 보조 과제에 대해 사전 훈련이 공동 최적화보다 더 효과적일 수 있음을 시사했다.