[논문 리뷰] Self-supervised learning for autonomous vehicles perception: A conciliation between analytical and learning methods

Florent Chiaroni, Mohamed-Cherif Rahal외 2명|arXiv (Cornell University)|2019. 10. 03.

Robotics and Sensor-Based Localization참고 문헌 73인용 수 18

한 줄 요약

이 논문은 자율주행 차량 인식을 위한 분석적 방법과 딥러닝 방법을 통합하는 자기지도학습(SSL) 프레임워크를 제안하며, 수동 레이블이 없는 엔드 투 엔드 훈련을 가능하게 한다. 시공간적 또는 다중 센서 데이터를 활용해 가짜 레이블(예: 깊이, 운동, 세분화)을 생성함으로써, 깊이 추정 및 장애물 탐지와 같은 작업에서 경쟁적인 성능을 달성하며, 온라인 적응 및 자기 평가 기능을 갖춘다.

ABSTRACT

Nowadays, supervised deep learning techniques yield the best state-of-the-art prediction performances for a wide variety of computer vision tasks. However, such supervised techniques generally require a large amount of manually labeled training data. In the context of autonomous vehicles perception, this requirement is critical, as the distribution of sensor data can continuously change and include several unexpected variations. It turns out that a category of learning techniques, referred to as self-supervised learning (SSL), consists of replacing the manual labeling effort by an automatic labeling process. Thanks to their ability to learn on the application time and in varying environments, state-of-the-art SSL techniques provide a valid alternative to supervised learning for a variety of different tasks, including long-range traversable area segmentation, moving obstacle instance segmentation, long-term moving obstacle tracking, or depth map prediction. In this tutorial-style article, we present an overview and a general formalization of the concept of self-supervised learning (SSL) for autonomous vehicles perception. This formalization provides helpful guidelines for developing novel frameworks based on generic SSL principles. Moreover, it enables to point out significant challenges in the design of future SSL systems.

연구 동기 및 목표

• 자율주행 차량 인식을 위한 완전히 애너테이션된 데이터셋의 높은 비용과 부족함을 해결하기 위해.
• 도시 환경에서 고차원적이고 복잡한 의미적 패턴을 처리하는 데 있어 순수 분석적 방법의 한계를 극복하기 위해.
• 대규모 감독 학습 데이터의 필요성을 줄이면서도 모델의 불확실한 시나리오에 대한 강건성을 향상시키기 위해.
• 실시간 주행 환경에서 온라인 자기 평가, 자기 개선 및 적응을 가능하게 하기 위해.
• 예를 들어 스테레오, 시간적 시퀀스 등의 다중 모odal 센서 데이터를 통합하여 자기지도학습 훈련을 위한 신뢰할 수 있는 가짜 레이블을 생성하기 위해.

제안 방법

• 단일 단일 카메라 프레임을 입력으로 사용하고, 시간적 시퀀스나 스테레오 쌍에서 유도된 보조 정보를 가짜 레이블로 활용하여 후행 작업(예: 깊이, 세분화, 운동)을 예측한다.
• 예를 들어 CNN 또는 트랜스포머와 같은 학습 모델을 사용하여 단일 프레임에서 목표 작업을 예측하며, 가짜 레이블 데이터에 대해 재구성 또는 일致성 손실을 통해 훈련한다.
• 수동 애너테이션 없이도 지도 학습과 유사한 감독 신호를 제공할 수 있도록 광학 흐름, 에피포라 기하학, 스테레오 삼각측량과 같은 분석적 방법을 도입한다.
• 재투영 손실과 운동 일관성 기반 기법을 사용하여 훈련 중에 동적 물체 및 가림 영역을 필터링한다.
• 지속적으로 새로운 데이터를 업데이트함으로써 온라인 학습을 가능하게 하여 새로운 환경에 대한 적응을 허용한다.
• 분석 기반 기준을 사용하여 자기 평가 메커니즘을 통합하여 모델의 불확실성 또는 예측 오류를 탐지한다.

실험 결과

연구 질문

• RQ1 자기지도학습이 수동 애너테이션 데이터 없이도 자율주행 차량 인식 작업에서 완전히 감독 학습을 효과적으로 대체할 수 있는가?
• RQ2 분석적 방법을 어떻게 체계적으로 딥러닝과 통합하여 인식 시스템의 강건성과 해석 가능성을 향상시킬 수 있는가?
• RQ3 SSL 프레임워크가 실제 주행 환경에서 온라인 적응 및 자기 평가를 어느 정도 가능하게 하는가?
• RQ4 SSL이 동적 장애물과 깊이 척도 모호성 처리에 있어 어떤 한계를 가지며, 이를 어떻게 완화할 수 있는가?
• RQ5 자율주행 인식에서 지속적인 온라인 학습 중 치명적 기억 상실을 방지하는 방법은 무엇인가?

주요 결과

• 자기지도학습 방법은 깊이 추정 작업에서 최신 기술 수준의 성능를 달성하며, 완전히 감독 학습 모델과 경쟁 가능한 결과를 보이며, 예를 들어 KITTI에서 [56]* > [47] > [16] > [54]의 순서로 성능 향상을 보였다.
• 시간적 시퀀스와 스테레오 데이터를 기반으로 한 SSL 프레임워크는 지도 학습이 없는 상태에서도 깊이 및 운동 추정을 위한 정확한 가짜 레이블을 생성할 수 있다.
• 에피포라 기하학, 광학 흐름 등의 분석적 방법 통합은 훈련 중에 가림 및 이동 물체를 강건하게 처리할 수 있도록 한다.
• 분석 기반 기준을 사용한 온라인 자기 평가는 가능하지만, 이러한 기준의 노이즈가 신뢰성에 영향을 줄 수 있으며, 향후 추가 연구가 필요하다.
• 치명적 기억 상실은 지속적 학습에서 여전히 도전 과제이지만, 점진적 학습 기법이 실현 가능한 대안을 제공한다.
• 단일 카메라 깊이 추정에서의 척도 모호성 문제는 여전히 존재하지만, 메트릭 자세 변환을 추정하거나 템플릿 매칭을 사용하여 척도 복구를 가능하게 함으로써 완화할 수 있다.