[논문 리뷰] Dynamic Approach for Lane Detection using Google Street View and CNN

Rama Sai Mamidala, Uday Uthkota외 3명|arXiv (Cornell University)|2019. 09. 02.

Autonomous Vehicle Technology and Safety참고 문헌 5인용 수 6

한 줄 요약

이 논문은 워롱고 대학교 데이터셋의 1,500장의 이미지에서 훈련한 SegNet 기반의 CNN 모델을 사용하여 실시간 지오로케이션 기반 이미지 검색을 위한 구글 스트리트 뷰 및 구글 API와 통합한 동적 차선 검출 시스템을 제안한다. 이 방법은 차선이 가려져 있거나 조명 조건이 변할 경우에도 96.1%의 테스트 정확도와 뛰어난 성능을 기록하며, SVM 및 MLPC 기반의 기존 방법들을 능가한다. 실시간 주행 기능을 갖춘 픽셀 단위의 의미 분할을 통해 우수한 성능을 달성한다.

ABSTRACT

Lane detection algorithms have been the key enablers for a fully-assistive and autonomous navigation systems. In this paper, a novel and pragmatic approach for lane detection is proposed using a convolutional neural network (CNN) model based on SegNet encoder-decoder architecture. The encoder block renders low-resolution feature maps of the input and the decoder block provides pixel-wise classification from the feature maps. The proposed model has been trained over 2000 image data-set and tested against their corresponding ground-truth provided in the data-set for evaluation. To enable real-time navigation, we extend our model's predictions interfacing it with the existing Google APIs evaluating the metrics of the model tuning the hyper-parameters. The novelty of this approach lies in the integration of existing segNet architecture with google APIs. This interface makes it handy for assistive robotic systems. The observed results show that the proposed method is robust under challenging occlusion conditions due to pre-processing involved and gives superior performance when compared to the existing methods.

연구 동기 및 목표

• 자율 주행을 위한 지오로케이션 기반 스트리트 이미지를 활용하는 실시간 동적 차선 검출 시스템을 개발하기 위해.
• 딥 러닝 기반 의미 분할을 통해 차선이 가려져 있거나 조명이 불량하거나 이미지 밝기가 변동하는 어려운 조건에서도 내구성을 향상시키기 위해.
• 훈련된 CNN 모델을 구글 API(스트리트 뷰, 지도, 지오로케이트)와 통합하여 실시간 데이터 검색 및 시스템 배포를 가능하게 하기 위해.
• 기존의 기계 학습 방법(SVM, MLPC)에 비해 차선 분할 정확도와 일반화 능력에서 뛰어난 성능을 보여주기 위해.
• 미래의 응용 분야인 보조 로봇 시스템 및 시각 장애인을 위한 전자 지팡이 등으로의 확장성을 확보하기 위해.

제안 방법

• 픽셀 단위의 의미 분할을 위해 세그넷 인코더-디코더 아키텍처를 사용하며, 인코더는 저해상도 특징 맵을 추출하고 디코더는 조밀한 분류를 수행한다.
• 유니버시티 오브 워롱고 데이터셋에서 제공하는 참조 레이블을 포함한 2,000장의 이미지로 구성된 커스터마이징된 데이터셋을 사용하여 모델을 훈련한다(훈련용 1,500장, 테스트용 500장).
• 수렴을 보장하기 위해 학습률 및 가중치 초기화(Xavier)와 같은 하이퍼파ram터를 조정하며, SLURM를 사용한 GPU 클러스터에서 훈련을 수행한다.
• 현재 시스템 위치 기반으로 실시간으로 지도화된 이미지를 검색하기 위해 구글 스트리트 뷰 API 및 지오로케이트 API를 사용한다. 이를 통해 동적 입력을 가능하게 한다.
• 모델 평가에는 예측된 차선 세그먼트와 진짜 값 간의 평균 제곱 오차를 사용하며, 정밀도, 재현율, F1 점수, 테스트 정확도 등의 지표를 활용한다.
• 훈련된 CNN을 구글 API와 연동하여 실시간으로 동적으로 확보된 스트리트 이미지에서 실시간 추론을 수행함으로써 시스템을 실시간으로 구동한다.

실험 결과

연구 질문

• RQ1 기존의 기계 학습 방법과 비교하여, 세그넷 기반의 CNN 모델은 실제 도로에서 차선이 가려지거나 조명 조건이 변동하는 상황에서 어떤 성능을 보이는가?
• RQ2 구글 스트리트 뷰 및 지오로케이션 API와의 통합을 통해 실시간으로 위치 인식이 가능한 스트리트 이미지를 활용하여 동적 차선 검출이 가능한가?
• RQ3 높은 정확도와 수렴을 달성하기 위한 최적의 하이퍼파ram터 설정(예: 에포크 수, 학습률)은 무엇인가?
• RQ4 훈련 데이터 크기와 GPU 기반 훈련이 증가함에 따라 모델의 성능(정밀도, 재현율, F1 점수)은 어떻게 변화하는가?
• RQ5 이 시스템은 자율 주행에서 장애물 및 다중 차선을 위한 다중 클래스 분할을 지원하기 위해 얼마나 확장 가능한가?

주요 결과

• 1,500장의 이미지로 훈련하고 500장의 이미지로 테스트한 결과, 모델은 테스트 정확도 96.1%를 기록하였으며, 115 에포크에서 F1 점수는 0.9445를 기록하였다.
• 115 에포크에서 정밀도는 0.9889에 도달하여 양성 예측에 높은 신뢰도를 보였지만, 재현율은 0.4042로 떨어져 가려진 환경에서 모든 참 양성 픽셀을 탐지하는 데 어려움을 겪고 있음을 시사한다.
• CNN 기반 방법은 노이즈가 적고 일반화 능력이 뛰어나, 특히 가려짐 및 저조도 조건에서 SVM 및 MLPC보다 뚜렷한 성능 향상을 보였다.
• 구글 API 통합을 통해 현재 위치 기반 스트리트 이미지에 실시간으로 액세스할 수 있었으며, 이는 시스템의 동적 성격과 실시간 주행 시나리오에의 적용 가능성을 높였다.
• SLURM를 사용한 GPU 클러스터에서의 훈련은 수렴을 향상시키고 시간 복잡도를 감소시켜 더 큰 데이터셋에서의 효율적인 훈련을 가능하게 하였다.
• 실제 구글 스트리트 뷰 이미지에서 예측된 차선 세그먼트와 진짜 값 간 상관계수가 약 1에 가까운 높은 상관관계를 보이며 실시간 성능의 타당성을 입증하였다.