[논문 리뷰] Vehicle Trajectory Prediction by Transfer Learning of Semi-Supervised Models

Nick Lamm, Shashank Jaiprakash외 2명|arXiv (Cornell University)|2020. 07. 13.

Autonomous Vehicle Technology and Safety인용 수 4

한 줄 요약

이 논문은 실세계 벤치마크에서 감독 학습 모델에 비해 반독립 학습 모델을 사용한 전이 학습이 차량 궤적 예측 성능을 크게 향상시킴을 보여준다. 수백만에서 수십억 장의 레이블이 없는 대규모 데이터를 활용함으로써, 대조 학습(SimCLR)이 교사-학생 방법보다 뛰어나며, 저수준(카메라 입력)과 중수준(맵 애너테이션 포함) 표현 모두에서 성능을 향상시키며, 다중 모odal 지표에서 최대 40.1% 향상됨을 입증한다.

ABSTRACT

In this work we show that semi-supervised models for vehicle trajectory prediction significantly improve performance over supervised models on state-of-the-art real-world benchmarks. Moving from supervised to semi-supervised models allows scaling-up by using unlabeled data, increasing the number of images in pre-training from Millions to a Billion. We perform ablation studies comparing transfer learning of semi-supervised and supervised models while keeping all other factors equal. Within semi-supervised models we compare contrastive learning with teacher-student methods as well as networks predicting a small number of trajectories with networks predicting probabilities over a large trajectory set. Our results using both low-level and mid-level representations of the driving environment demonstrate the applicability of semi-supervised methods for real-world vehicle trajectory prediction.

연구 동기 및 목표

• 동일한 조건에서 반독립 학습 사전 훈련이 감독 학습 사전 훈련에 비해 궤적 예측 성능을 향상시키는지 평가하기.
• 다양한 반독립 학습 기법—대조 학습 대비 교사-학생 정규화—이 운전 환경 표현 학습에 얼마나 효과적인지 조사하기.
• 소수의 궤적을 예측할 때와 고정된 대용량 후보 궤적 집합을 예측할 때의 성능 향상 정도를 비교하기.
• 반독립 학습 표현이 저수준(카메라 이미지)과 중수준(애너테이션 포함 지도 이미지)의 운전 환경 표현 모두에 일반화 가능한지 검증하기.

제안 방법

• 고정된 아키텍처와 계산 자원을 사용해, 반독립 학습 및 감독 학습 모델(SimCLR, ResNeXt-101 SSL, SWSL 등)을 차량 궤적 예측 작업에 맞게 미세 조정하기.
• 수십억 장의 레이블이 없는 이미지 데이터셋에서 대조 학습(SimCLR)을 사용해 모델을 사전 훈련함으로써 자기 지도 특징 학습을 가능하게 하기.
• 교사-학생 프레임워크(예: ResNeXt-101 32x4d SSL, SWSL)를 통해 큰 규모의 레이블이 없는 데이터에서 노이즈가 있는 학생 신호를 기반으로 지식 정규화 적용하기.
• 유닛 모달 및 다중 모달 궤적 예측 지표를 사용해, 두 벤치마크 데이터셋인 Drive360(저수준, 카메라 기반)과 nuScenes(중수준, 맵 애너테이션 포함)에서 모델 평가하기.
• 훈련 시간을 줄이기 위해 훈련 데이터와 입력 해상도를 감소시킴(예: 1920x1080 → 160x90)하면서도 전체 테스트 분할에서 성능 평가 유지하기.
• 미세 조정 중 네트워크의 하위 3/4 블록을 동결하여 사전 훈련된 특징를 유지하면서 최종 레이어만 하류 예측 작업에 맞게 적응시키기.

실험 결과

연구 질문

• RQ1 모든 요소(아키텍처, 데이터, 계산 자원)를 동일하게 유지할 때, 반독립 학습 모델을 사용한 전이 학습이 감독 학습 모델에 비해 궤적 예측 성능을 향상시키는가?
• RQ2 다양한 반독립 학습 기법—대조 학습(SimCLR) 대비 교사-학생 정규화(SWSL, SSL)—가 차량 궤적 예측 작업에서 성능에 어떻게 영향을 미치는가?
• RQ3 반독립 학습 사전 훈련의 이점은 모델이 소수의 궤적을 예측할 때인지, 고정된 대용량 후보 궤적 집합을 예측할 때인지에 따라 달라지는가?
• RQ4 반독립 학습 표현이 운전 환경의 저수준(카메라 입력)과 중수준(애너테이션 포함 지도) 표현 모두에 효과적으로 일반화 가능한가?

주요 결과

• 반독립 학습 모델은 저수준 및 중수준 표현 모두에서 감독 학습 모델을 능가하며, SimCLR가 모든 벤치마크에서 최고의 종합 성능 기록함.
• 대조 학습(SimCLR)은 교사-학생 방법(ResNeXt-101 32x4d SSL 및 SWSL)보다 뚜렷이 뛰어나며, Drive360에서 감독 학습 ResNet-50에 비해 조향 각도 MSE를 0.99 감소시키고 속도 MSE를 0.87 감소시킴.
• CoverNet을 사용한 다중 모달 궤적 예측에서 반독립 학습 모델은 감독 기반 모델 대비 최대 40.1% 향상되었으며, 궤적 불확실성 처리 능력 향상에 기여함.
• MTP를 사용한 소수 궤적 집합 예측에서 반독립 학습 모델은 유닛 모달 지표를 최대 17.3% 향상시켰지만, 다중 모달 지표에서는 유의미한 향상 없음으로, 이는 작업에 따라 성능 향상의 차이가 있음을 시사함.
• ResNeXt-101 32x4d SWSL 모델은 Drive360에서 감독 학습 ResNet-101 베이스라인보다 성능이 열 劣함으로, 모든 반독립 학습 방법이 작업 간 동일하게 일반화되지 않음을 시사함.
• 반독립 학습 사전 훈련으로부터의 성능 향상은 추가적인 추론 또는 훈련 계산 자원 없이도 달성되며, 기존 궤적 예측 파이프라인에 즉시 통합 가능한 플러그 앤 플레이 개선 방법임.