[논문 리뷰] Detecting Drivable Area for Self-driving Cars: An Unsupervised Approach

Ziyi Liu, Siyu Yu외 2명|arXiv (Cornell University)|2017. 05. 01.

Autonomous Vehicle Technology and Safety참고 문헌 15인용 수 14

한 줄 요약

이 논문은 단일 카메라 이미지와 3D-LiDAR 포인트 클라우드를 융합하여 자율주행 차량의 주행 가능한 영역 탐지에 대해 비지도 학습 방식을 제안한다. 방향 레이 맵과 슈퍼픽셀 기반의 초기 분할을 사용한 후, 신뢰도 전파를 통한 마르코프 네트워크 추론을 통해 다중 수준의 특징을 융합하여, 훈련 없이도 강력한 가정 없이 ROAD-KITTI 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

It has been well recognized that detecting drivable area is central to self-driving cars. Most of existing methods attempt to locate road surface by using lane line, thereby restricting to drivable area on which have a clear lane mark. This paper proposes an unsupervised approach for detecting drivable area utilizing both image data from a monocular camera and point cloud data from a 3D-LIDAR scanner. Our approach locates initial drivable areas based on a "direction ray map" obtained by image-LIDAR data fusion. Besides, a fusion of the feature level is also applied for more robust performance. Once the initial drivable areas are described by different features, the feature fusion problem is formulated as a Markov network and a belief propagation algorithm is developed to perform the model inference. Our approach is unsupervised and avoids common hypothesis, yet gets state-of-the-art results on ROAD-KITTI benchmark. Experiments show that our unsupervised approach is efficient and robust for detecting drivable area for self-driving cars.

연구 동기 및 목표

• 차선 표시가 없거나 신뢰할 수 없는 복잡한 도시 및 농촌 도로 환경에서 주행 가능한 영역을 탐지하는 데 도전한다.
• 조명에 민감한 단일 시각 인식과 세밀도가 떨어지는 희소 LiDAR의 한계를 보완하기 위해 상호보완적인 데이터 소스를 융합한다.
• 강력한 가정, 훈련 또는 수동 애너테이션 없이도 안정적이고 일반화 가능한 방법을 개발하여 실세계 적용을 향상시킨다.
• 보도와 전이 구역을 포함한 평탄한 주행 가능한 표면뿐만 아니라 포장된 도로 이외의 영역도 탐지함으로써 비상 상황에서의 안전성을 향상시킨다.

제안 방법

• 공간 관계를 모델링하고 장애물 포인트를 분류하기 위해 데라운이 삼각분할을 사용하여 단일 이미지 데이터와 3D-LiDAR 포인트 클라우드를 융합한다.
• 이미지-LiDAR 융합에서 유도된 '방향 레이 맵'을 활용해 초기 주행 가능한 영역을 식별하며, 효율성 향상과 경계 준수를 위해 슈퍼픽셀을 기본 처리 단위로 사용한다.
• 밀도 높은 색상 정보와 희소한 깊이 데이터를 융합하기 위해 슈퍼픽셀 분할(스티키 에지 애드허시브 슈퍼픽셀)을 적용한다.
• 초기 영역에서 색상, 강도, 수준, 법선의 네 가지 고유한 특징을 학습하여 특징 수준에서 주행 가능한 영역을 기술한다.
• 특징 융합을 마르코프 네트워크로 모델링하고, 특징을 견고하게 융합하기 위해 신뢰도 전파 알고리즘을 사용하여 추론을 수행한다.
• 초기 분할(S_int)을 사전 정보로 사용하여 모델 파라미터를 추정함으로써 레이블 없는 데이터로도 자기학습(self-learning)이 가능하도록 한다.

실험 결과

연구 질문

• RQ1 차선 표시가 없고 환경이 다양한 도시 및 농촌 환경에서, 훈련 데이터나 차선 표시에 의존하지 않고 주행 가능한 영역을 정확하게 탐지할 수 있는가?
• RQ2 단일 이미지와 LiDAR 데이터의 비지도 융합 방식이 조명 변화와 장면의 복잡성에 대해 얼마나 강건한가?
• RQ3 신뢰도 전파 기반의 특징 융합이 단일 특징 또는 기준 방법에 비해 탐지 성능을 얼마나 향상시키는가?
• RQ4 지형 유형과 조건이 다양한 환경에서 이 방법이 일반화되는 정도는 어떠한가? 특히 지도에서 '도로'로 정의되지만 시스템은 더 넓은 '주행 가능한 영역'을 탐지하는 경우에 대해 어떻게 작동하는가?
• RQ5 비지도 접근 방식이 ROAD-KITTI와 같은 벤치마크 데이터셋에서 지도 학습 방법과 비교해 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• 제안된 비지도 방법은 ROAD-KITTI 벤치마크에서 최신 기술 수준의 성능을 달성했으며, URBAN 데이터셋에서 AP가 89.00, UMM에서 93.87을 기록하여 HybridCRF 및 MixedCRF와 같은 지도 학습 방법을 초월했다.
• UU 서브셋에서는 AP가 84.97, MaxF가 83.20을 기록하여 다양한 도시 환경에서의 뛰어난 일반화 능력을 입증했다.
• 신뢰도 전파 기반의 특징 융합은 기준값 대비 MaxF(+10.5점), AP(+11.3점), PRE(+11.2점)를 향상시켜 그 효과를 입증했다.
• URBAN에서 높은 재현율(91.83%)과 낮은 FNR(8.17%)를 기록하여 주행 가능한 영역을 잘 커버하고 있음을 보여주며, 비도로 평탄한 표면까지 포함함으로써 FPR이 높아도 여전히 강력한 커버리지가 있음을 시사한다.
• 초기 분할(S_int)은 재현율(96.25%)이 매우 높고 FNR이 낮아(3.75%) 모델 파라미터 추정을 위한 신뢰할 수 있는 사전 정보로 사용될 수 있음을 검증했다.
• 비지도 학습임에도 불구하고 모든 지표에서 경쟁력 있는 성능을 달성했으며, UMM과 UU에서 최고의 FPR과 PRE를 기록하여 강건성과 일반화 능력을 확인했다.