[논문 리뷰] Policy Pre-training for Autonomous Driving via Self-supervised Geometric Modeling

Penghao Wu, Li Chen외 4명|arXiv (Cornell University)|2023. 01. 03.

Advanced Neural Network Applications인용 수 7

한 줄 요약

이 논문은 캘리브레이션되지 않은 유튜브 주행 영상에서 3차원 환경의 기하 모델링을 활용하여 자율주행을 위한 강력한 주행 정책 표현을 학습하는 완전 자율주도 사전학습 프레임워크인 PPGeo를 제안한다. 두 단계의 과정을 통해 동시에 자세와 깊이를 예측하고, 단일 프레임 관측에서의 향후 자율주행 운동 예측을 최적화함으로써, 최소한의 레이블 데이터로도 최신 기술 수준의 성능을 달성하며, 하류의 시각운동 정책 과제에서 2%에서 100% 이상의 성능 향상을 기록한다.

ABSTRACT

Witnessing the impressive achievements of pre-training techniques on large-scale data in the field of computer vision and natural language processing, we wonder whether this idea could be adapted in a grab-and-go spirit, and mitigate the sample inefficiency problem for visuomotor driving. Given the highly dynamic and variant nature of the input, the visuomotor driving task inherently lacks view and translation invariance, and the visual input contains massive irrelevant information for decision making, resulting in predominant pre-training approaches from general vision less suitable for the autonomous driving task. To this end, we propose PPGeo (Policy Pre-training via Geometric modeling), an intuitive and straightforward fully self-supervised framework curated for the policy pretraining in visuomotor driving. We aim at learning policy representations as a powerful abstraction by modeling 3D geometric scenes on large-scale unlabeled and uncalibrated YouTube driving videos. The proposed PPGeo is performed in two stages to support effective self-supervised training. In the first stage, the geometric modeling framework generates pose and depth predictions simultaneously, with two consecutive frames as input. In the second stage, the visual encoder learns driving policy representation by predicting the future ego-motion and optimizing with the photometric error based on current visual observation only. As such, the pre-trained visual encoder is equipped with rich driving policy related representations and thereby competent for multiple visuomotor driving tasks. Extensive experiments covering a wide span of challenging scenarios have demonstrated the superiority of our proposed approach, where improvements range from 2% to even over 100% with very limited data.

연구 동기 및 목표

• 대규모 레이블이 없는 데이터를 활용하여 엔드 투 엔드 자율주행을 위한 시각운동 정책 학습에서 샘플 비효율 문제를 해결하기 위해 시각 표현을 사전학습하는 것.
• 영상 증강을 통한 시야 및 이동 불변성에 의존하는 일반적인 사전학습 방법(예: ImageNet, 대비 학습)의 한계를 극복하여, 역동적이고 복잡한 환경에서 자율주행에 적합하지 않은 점을 해결하기 위해.
• 모델이 배경이나 간섭 요소보다 기하 관계와 결정에 중요한 시각적 단서(예: 신호등)에 집중하도록 하는 드라이빙 인식 사전학습 파라다임을 개발하기 위해.
• 자기주도적 기하 재구성으로 정책 관련 표현을 학습함으로써, 하류의 시각운동 주행 과제로의 효과적인 전이를 가능하게 하기 위해.
• 가짜 레이블링 방법(예: ACO, SelfD)에 의존하는 것과는 달리, 잠재적으로 정확하지 않은 역역학 모델이나 타겟 도메인 레이블링에 의존하지 않는 완전 자율주도 대안을 제공하기 위해.

제안 방법

• 두 단계의 사전학습 파이프라인을 사용: 첫 번째 단계에서는 校정되지 않은 두 연속 영상 프레임에서 상대 자세와 깊이를 예측하는 기하 모델링 네트워크를 활용한다.
• 두 번째 단계에서는 단일 현재 프레임에서의 향후 자율주행 운동을 예측함으로써 시각 인코더가 주행 정책 표현을 학습한다. 이때 광학 일致성 손실을 사용한다.
• 자기주도적 기하 재구성으로 사전학습 목표를 설정하여, 주행 결정에 핵심적인 공간-시간 관계를 학습하도록 한다.
• 비교적 큰 영상 데이터셋에서의 레이블이 없는 유튜브 주행 영상 데이터를 활용하여, 기하 감독(자세 및 깊이)과 정책 인식 감독(향후 자율주행 운동 예측)을 병행하여 시각 인코더를 종합적으로 훈련한다.
• 현재 프레임 관측에만 기반한 광학 오차를 최적화하여, 향후 프레임 감독 없이도 주행 관련 특징을 학습할 수 있도록 한다.
• 대규모, 캘리브레이션되지 않은, 정제되지 않은 유튜브 주행 영상을 활용하여 모델을 사전학습함으로써, 실제 환경의 조명, 날씨, 환경 복잡성 등의 다양성에 대한 강건성을 확보한다.

실험 결과

연구 질문

• RQ1 기하 모델링에 기반한 완전 자율주도 사전학습 프레임워크가 일반적인 사전학습 방법보다 시각운동 자율주행에서 샘플 효율성을 향상시킬 수 있는가?
• RQ2 3차원 기하 재구성에 기반한 주행 정책 표현 학습이 대비 또는 마스크된 이미지 모델링 접근법보다 하류 주행 과제에서 더 우수한 일반화 성능을 보일 수 있는가?
• RQ3 자기주도적 기하 사전학습이 엔드 투 엔드 자율주행 정책 학습에서 대규모 레이블 데이터셋에 대한 의존도를 어느 정도 줄일 수 있는가?
• RQ4 PPGeo의 두 단계 훈련 파이프라인(먼저 자세와 깊이를 학습하고, 이후 향후 자율주행 운동을 예측함)이 결정에 관련된 시각 패턴을 포착하는 데 모델의 능력을 향상시키는가?
• RQ5 사전학습된 시각 인코더가 정밀도 조절 없이도 어두운 조명이나 악천후와 같은 어려운 조건을 포함한 다양한 주행 환경에서 일반화 가능한가?

주요 결과

• PPGeo는 매우 적은 레이블 데이터로 미세조정할 경우, 여러 하류 시각운동 주행 과제에서 2%에서 100% 이상의 성능 향상을 기록한다.
• 이 방법은 기준 주행 과제에서 ImageNet, 대비 학습, 마스크된 이미지 모델링과 같은 동료 사전학습 접근법보다 우수한 샘플 효율성을 보이며, 성능이 뛰어나다.
• 사전학습된 시각 인코더는 배경 요소(예: 먼 거리의 건물, 정지된 장애물)를 억제하면서도 결정에 중요한 시각적 단서(예: 신호등)에 집중하는 것을 학습한다.
• 두 단계 사전학습 파이프라인은 향후 프레임 감독 없이도 단일 프레임 입력에서 자율주행 운동과 기하적 구조를 강력하게 표현하는 데에 기여한다.
• 사전학습된 기하 모델링 네트워크의 부가적 이점은 깊이 추정 및 오도메트리 성능 향상으로 이어지며, 정책 학습 외의 분야에서도 광범위한 활용 가능성을 보여준다.
• PPGeo는 가짜 레이블링이나 역역학 모델에 의존하지 않아, ACO나 SelfD와 같이 잠재적으로 정확하지 않은 레이블에 의존하는 방법보다 더 강건하고 확장 가능한 성능을 보인다.