[논문 리뷰] SafeDrive: A Robust Lane Tracking System for Autonomous and Assisted Driving Under Limited Visibility

Junaed Sattar, Jiawei Mo|arXiv (Cornell University)|2017. 01. 29.

Autonomous Vehicle Technology and Safety참고 문헌 10인용 수 3

한 줄 요약

SafeDrive는 차량 위치를 활용해 데이터베이스에서 과거 도로 뷰 이미지를 검색하고, 이를 실시간 카메라 피드와 특징 기반 및 픽셀 기반 호모그래피 추정을 통해 정렬함으로써 현재 영상에서 가시성이 떨어지는 경우에도 차선 마커를 탐지할 수 있도록 하는 저비용의 시각 기반 차선 추적 시스템을 제안한다. 이 시스템은 기준 방법 대비 SSD 오차를 25% 감소시켜 가시성이 열악한 조건에서도 정확한 차선 투영을 달성한다.

ABSTRACT

We present an approach towards robust lane tracking for assisted and autonomous driving, particularly under poor visibility. Autonomous detection of lane markers improves road safety, and purely visual tracking is desirable for widespread vehicle compatibility and reducing sensor intrusion, cost, and energy consumption. However, visual approaches are often ineffective because of a number of factors, including but not limited to occlusion, poor weather conditions, and paint wear-off. Our method, named SafeDrive, attempts to improve visual lane detection approaches in drastically degraded visual conditions without relying on additional active sensors. In scenarios where visual lane detection algorithms are unable to detect lane markers, the proposed approach uses location information of the vehicle to locate and access alternate imagery of the road and attempts detection on this secondary image. Subsequently, by using a combination of feature-based and pixel-based alignment, an estimated location of the lane marker is found in the current scene. We demonstrate the effectiveness of our system on actual driving data from locations in the United States with Google Street View as the source of alternate imagery.

연구 동기 및 목표

• nie, 눈, 저조도 또는 가림 등 열악한 시야 조건에서 자율주행 및 보조 주행의 차선 추적 신뢰도를 향상시키는 것.
• LiDAR나 레이더와 같은 고비용 또는 침입성 센서에 의존하지 않고 시각 데이터와 GPS만을 사용하는 것.
• 소비자용 차량의 차선 이탈 경고 기능을 위한 저비용, 스마트폰 호환 솔루션을 개발하는 것.
• 시각적 단서가 완전히 없거나 심각하게 떨어진 상황에서도 차선 탐지를 가능하게 하는 것.
• 과거 도로 뷰 이미지를 실시간 시각 기반 차선 탐지에 대체로 사용할 수 있는지의 실현 가능성을 입증하는 것.

제안 방법

• 시스템은 차량의 GPS 좌표를 사용해 Google Street View와 같은 데이터베이스에서 동일한 도로 위치의 지리적 태그가 부여된 과거 이미지를 검색한다.
• 현재 카메라 이미지와 검색된 데이터베이스 이미지 간의 대응점을 식별하기 위해 특징 기반 매칭(예: SIFT 또는 유사 알고리즘)을 적용한다.
• 매칭된 특징 점들로부터 호모그래피 행렬을 추정하여 데이터베이스 이미지를 현재 장면에 정렬한다.
• Coherent Point Drift(CPD) 또는 유사 알고리즘을 사용한 픽셀 기반 이미지 정렬을 통해 호모그래피를 정밀하게 보정하여 투영 오차를 감소시킨다.
• 매칭된 특징에 기반해 공통 픽셀 영역을 추출하고, 최종적으로 정합 품질을 검증하기 위해 SSD(제곱차의 합) 지표를 계산한다.
• 정합된 데이터베이스 이미지에서 차선 마커를 탐지하고, 정밀화된 호모그래피를 사용해 이를 현재 카메라 이미지에 투영하여 실시간 차선 시각화를 구현한다.

실험 결과

연구 질문

• RQ1 눈이나 조명 조건으로 인해 차선 마커와 같은 시각적 단서가 완전히 보이지 않을 경우에도 차선 탐지가 신뢰성 있게 수행될 수 있는가?
• RQ2 과거 도로 뷰 이미지는 실시간 주행 환경에서 차선 정보 복구에 얼마나 효과적으로 활용될 수 있는가?
• RQ3 호모그래피 추정에서 특징 기반 및 픽셀 기반 정합을 결합했을 때 차선 마커 복구에 어떤 성능 향상이 있는가?
• RQ4 현재 이미지와 과거 이미지 간의 기하학적 왜곡과 시점 차이를 어떻게 처리하는가?
• RQ5 저비용의 GPS 지원 시각 시스템이 소비자용 차량의 실시간 차선 이탈 경고에 충분한 정확도를 확보할 수 있는가?

주요 결과

• 눈 덮인 도로나 저조도 조건에서도 차선 마커가 완전히 보이지 않는 상황에서도 시스템이 성공적으로 차선 마커를 탐지하고 현재 영상에 투영함을 입증했다.
• 픽셀 기반 정밀화 후 SSD(제곱차의 합) 오차는 기존 42,603.4에서 31,576.6으로 감소하여 정합 정확도 향상을 입증했다.
• 픽셀 기반 정밀화 후 최종 호모그래피 행렬(행렬 3)은 초기 특징 기반 행렬(행렬 2)에 비해 투영 오차가 감소하고 건물 가장자리와 같은 구조적 특징의 정합도가 향상되어 뚜렷한 개선을 보였다.
• 표준 PC에서 차선 탐지 및 투영에 대한 평균 엔드 투 엔드 처리 시간은 약 8초로, 실시간 구현에 적합한 것으로 확인되었다.
• 다양한 조명 및 기상 조건에서의 테스트 케이스를 통해 시스템은 현재 이미지와 데이터베이스 이미지 간의 큰 시점 차이와 장면 변화를 효과적으로 처리함을 검증했다.
• GPS 기반 이미지 검색과 다단계 이미지 정합을 조합함으로써 극한의 시야 저하 조건에서도 강력한 차선 추적 기능을 제공할 수 있음을 입증하였으며, 센서가 많은 시스템에 대한 실현 가능한 저비용 대안을 제공한다.