[논문 리뷰] Detecting Unexpected Obstacles for Self-Driving Cars: Fusing Deep Learning and Geometric Modeling

Sebastian Ramos, Stefan Gehrig외 3명|arXiv (Cornell University)|2016. 12. 20.

Autonomous Vehicle Technology and Safety인용 수 4

한 줄 요약

이 논문은 깊이 학습 기반의 의미 분할과 스테레오 기하학을 융합하는 새로운 프레임워크를 제안한다. 이는 실종된 짐과 같은 작은 예측 불가능한 도로 장애물을 탐지하기 위해 고안되었다. 베이지안 확률적 융합을 통해 의미적 및 스테레오 스티셀 출력의 외관, 맥락 및 3차원 기하학적 신호를 활용함으로써, 시스템은 탐지율에서 기존 최고 수준의 성능 대비 50% 상대적 향상을 달성했으며, 50m 거리에서 90% 이상의 탐지율을 확보한다. 실시간으로 22Hz에서 작동한다.

ABSTRACT

The detection of small road hazards, such as lost cargo, is a vital capability for self-driving cars. We tackle this challenging and rarely addressed problem with a vision system that leverages appearance, contextual as well as geometric cues. To utilize the appearance and contextual cues, we propose a new deep learning-based obstacle detection framework. Here a variant of a fully convolutional network is used to predict a pixel-wise semantic labeling of (i) free-space, (ii) on-road unexpected obstacles, and (iii) background. The geometric cues are exploited using a state-of-the-art detection approach that predicts obstacles from stereo input images via model-based statistical hypothesis tests. We present a principled Bayesian framework to fuse the semantic and stereo-based detection results. The mid-level Stixel representation is used to describe obstacles in a flexible, compact and robust manner. We evaluate our new obstacle detection system on the Lost and Found dataset, which includes very challenging scenes with obstacles of only 5 cm height. Overall, we report a major improvement over the state-of-the-art, with relative performance gains of up to 50%. In particular, we achieve a detection rate of over 90% for distances of up to 50 m. Our system operates at 22 Hz on our self-driving platform.

연구 동기 및 목표

• 실종된 짐과 같은 작은 예측 불가능한 도로 장애물 탐지라는 중요한 그러나 미처 다루지 않은 과제를 해결하기 위해.
• 기하학적 방법만으로는 한계가 있음을 고려해, 깊이 학습을 통해 외관 및 맥락적 신호를 통합함으로써 이를 극복하기 위해.
• 5cm 크기의 장애물을 최대 50m 거리까지 탐지할 수 있는 강력하고 실시간 동작이 가능한 인식 시스템을 개발하기 위해.
• 복잡하고 변화무쌍한 도로 조건에서도 높은 탐지율을 유지하면서 잡음 신호를 줄이기 위해.
• 의미적 탐지와 기하학적 탐지 결과를 원칙적인 확률적 융합 프레임워크로 통합하기 위해.

제안 방법

• 전체 컨볼루션 네트워크(FCN) 변형은 자유 공간, 도로 장애물, 배경으로 픽셀 단위 의미 레이블링을 수행하여 외관과 맥락적 정보를 활용한다.
• FPHT 알고리즘과 통계적 가설 검정을 사용하는 스테레오 기반 시스템은 스티셀 표현을 통해 3차원 장애물 탐지를 생성한다.
• 베이지안 융합 프레임워크는 신뢰도 점수와 장애물 사전 확률을 사용하여 의미적 및 기하학적 탐지 결과를 융합한다.
• 스티셀 표현은 두 모odal 간에 압축되고 유연하며 강건한 중위 수준의 장애물 기술을 가능하게 한다.
• 융합 과정은 의미적 및 기하학적 소스로부터의 증거를 확률적 추론을 통해 통합하며, 잡음 신호 제어를 위한 신뢰도 임계값을 사용한다.
• 시스템은 실시간 성능 최적화를 위해 설계되었으며, 스테레오 처리를 위한 하드웨어 가속을 갖춘 자율주행 플랫폼에서 22Hz로 작동한다.

실험 결과

연구 질문

• RQ1 형태와 외관이 다양하게 변하는 물체일지라도, 외관 및 맥락적 신호를 활용한 딥 러닝 모델이 작은 예측 불가능한 도로 장애물을 효과적으로 탐지할 수 있는가?
• RQ2 스테레오 시각에서 유도된 기하학적 신호는 의미 분할과 어떻게 안정적으로 융합되어 낮은 높이의 장애물을 향상시킬 수 있는가?
• RQ3 의미적 탐지 및 기하학적 탐지 시스템의 확률적 출력을 최적화하여 탐지율을 극대화하면서 잡음 신호를 최소화할 수 있는 방법은 무엇인가?
• RQ4 학습된 배경 클래스가 예상치 못한 장애물에 대해 얼마나 일반화될 수 있으며, 도로 표면의 변화와 조명 변화에 대해 얼마나 강건한가?
• RQ5 커브진 도로, 그림자, 캘리브레이션 오차 등의 실제 도메인 도전 과제 상황에서 융합 프레임워크는 어떤 성능을 보이는가?

주요 결과

• 제안된 시스템은 Lost and Found 데이터셋에서 기존 최고 수준의 성능 대비 탐지율에서 50% 상대적 향상을 달성한다.
• 5cm 높이의 장애물까지 50m 거리에서 탐지율이 90% 이상 유지된다.
• 기존 최고 수준 대비 잡음 신호율이 13% 감소했으며, 실질적으로 2km 주행당 평균 1건의 잡음 신호만 발생한다.
• 융합 시스템은 개별 모달리티에서 놓친 탐지(예: UON이 배경 클래스 혼동으로 인해 물체를 놓칠 때, 또는 스테레오 시스템이 작은 장애물에서 실패할 때)를 성공적으로 복구한다.
• 자율주행 플랫폼에서 전용 하드웨어에서 SGM은 45ms, FPHT는 35ms, UON은 40ms의 엔드 투 엔드 지연 시간으로 22Hz에서 실시간으로 작동한다.
• 확률적 융합 프레임워크는 신뢰도 임계값을 통해 잡음 신호를 직관적으로 제어할 수 있으며, 임계값 0.7 이하에서는 높은 탐지율을 유지한다.