[논문 리뷰] SSL-Lanes: Self-Supervised Learning for Motion Forecasting in Autonomous Driving

Prarthana Bhattacharyya, Chengjie Huang외 1명|arXiv (Cornell University)|2022. 06. 28.

Traffic Prediction and Management Techniques인용 수 12

한 줄 요약

SSL-Lanes는 자율주행 주행 예측을 위한 자기지도학습 프레임워크를 제안하며, 지도 데이터와 트래잭터리 데이터에서 유래한 무료 편표( pseudo-labels )를 사용하는 네 가지 새로운 사전 과제(예측 과제)인 차선 마스킹, 교차로까지의 거리 예측, 주행 동작 분류, 성공/실패 분류를 활용한다. 이 방법은 모델의 구조적 복잡도가 낮고 추론 속도가 빠르며 트랜스포머 기반 모델보다도 더 높은 정확도를 달성하여, 추가적인 추론 비용 없이도 일반화 능력과 강인성을 향상시킨다.

ABSTRACT

Self-supervised learning (SSL) is an emerging technique that has been successfully employed to train convolutional neural networks (CNNs) and graph neural networks (GNNs) for more transferable, generalizable, and robust representation learning. However its potential in motion forecasting for autonomous driving has rarely been explored. In this study, we report the first systematic exploration and assessment of incorporating self-supervision into motion forecasting. We first propose to investigate four novel self-supervised learning tasks for motion forecasting with theoretical rationale and quantitative and qualitative comparisons on the challenging large-scale Argoverse dataset. Secondly, we point out that our auxiliary SSL-based learning setup not only outperforms forecasting methods which use transformers, complicated fusion mechanisms and sophisticated online dense goal candidate optimization algorithms in terms of performance accuracy, but also has low inference time and architectural complexity. Lastly, we conduct several experiments to understand why SSL improves motion forecasting. Code is open-sourced at \url{https://github.com/AutoVision-cloud/SSL-Lanes}.

연구 동기 및 목표

• 자기지도학습(SSL)이 모델의 복잡도나 추론 시간을 증가시키지 않으면서도 자율주행의 주행 예측 성능을 향상시킬 수 있는지 조사하는 것.
• 사용 가능한 지도 및 에이전트 트래잭터리 정보를 활용하여 효과적인 편표를 생성할 수 있는 도메인 특화 자기지도학습 사전 과제를 설계하는 것.
• 특히 좌회전/우회전, 가속, 데이터 불균형과 같은 어려운 상황에서 일반화 능력 향상 여부를 평가하는 것.
• 자기지도학습이 주행 예측 성능을 향상시키는 근본 원인을 분석하기 위해 분석 및 강인성 연구를 수행하는 것.

제안 방법

• 차선 마스킹, 거리-교차로 예측, 주행 동작 분류, 성공/실패 상태 분류의 네 가지 새로운 자기지도학습 사전 과제를 제안한다.
• 지도 구조와 에이전트 역학에서 직접 유도된 편표를 사용하여 추가적인 애너테이션 없이도 표준 주행 예측 모델을 훈련시킨다.
• 공유된 지도 및 에이전트 인코더를 갖춘 표준 인코더-디코더 아키텍처에 SSL 과제를 통합하여 추론 비용을 낮춘다.
• 맵 인코더를 차선 마스킹 사전 과제로 훈련하고, 그 파라미터를 주요 예측 모델로 전이한다.
• SSL 목표와 주요 예측 손실을 1:1 비율로 조합한 다중 과제 훈련 설정을 사용하며, 하이퍼파rameter 튜닝 없이도 성능을 확보한다.
• 데이터 희소성, 노이즈 강인성, 도시 및 주행 유형 간 일반화 능력에 대한 광범위한 분석 연구를 수행한다.

실험 결과

연구 질문

• RQ1 자기지도학습이 낮은 아키텍처 복잡도와 빠른 추론을 유지하면서도 주행 예측 정확도를 향상시킬 수 있는가?
• RQ2 복잡한 운전 행동(예: 회전, 가속)을 포착하는 데 가장 효과적인 특정 자기지도학습 사전 과제는 무엇인가?
• RQ3 특히 희귀한 주행 동작(예: 좌회전)에 대해 데이터 불균형 상황에서 SSL이 일반화 능력을 향상시키는가?
• RQ4 실제 주행 환경에서 입력 특성에 노이즈가 있을 경우 SSL이 강인성을 어떻게 향상시키는가?
• RQ5 왜 자기지도학습이 주행 예측에서 지도학습보다 더 풍부하고 일반화 능력이 뛰어난 특징 표현을 학습하는가?

주요 결과

• SSL-Lanes는 트랜스포머 기반 모델보다 구조적 복잡도가 낮고 추론 속도가 더 빠르며 Argoverse 벤치마크에서 최고 성능을 기록한다.
• 우회전 주행을 포착하는 데 가장 효과적인 과제는 차선 마스킹이며, 좌회전 예측 성능 향상에 가장 기여하는 과제는 거리-교차로 예측이다.
• 주행 동작 분류 및 성공/실패 분류 과제는 가속 및 감속과 같은 복잡한 행동의 예측 정확도를 크게 향상시킨다.
• SSL로 훈련된 모델은 데이터 희소성 상황에서도 더 나은 일반화 능력을 보이며, 데이터의 25%만으로도 높은 성능을 달성한다.
• SSL 모델은 노이즈 특성에 대해 뛰어난 강인성을 보이며, 특성 손상률이 25%와 50%일 경우에도 지도학습 기반 모델을 능가하는 성능 유지를 보인다.
• 실험 결과, SSL이 희귀 주행 동작과 불균형 데이터 분포에 특히 유리한 더 풍부하고 일반화 능력이 뛰어난 특징 표현을 학습함을 확인했다.