[논문 리뷰] Efficient Road Lane Marking Detection with Deep Learning

Ping-Rong Chen, Shao-Yuan Lo외 3명|arXiv (Cornell University)|2018. 09. 11.

Autonomous Vehicle Technology and Safety참고 문헌 16인용 수 9

한 줄 요약

이 논문은 자동차용 자원 제약이 있는 시스템에서 효율적이고 실시간으로 차선을 탐지할 수 있도록, 확장된 컨volution과 얕고 좁은 네트워크 아키텍처를 사용한 경량 딥러닝 기반의 차선 마킹 탐지기(Lane Marking Detector, LMD)를 제안한다. 이 방법은 낮은 계산 비용으로 높은 정확도를 달성하며, 후처리 단계에서 다항식 피팅을 통해 곡선 차선을 모델링한다.

ABSTRACT

Lane mark detection is an important element in the road scene analysis for Advanced Driver Assistant System (ADAS). Limited by the onboard computing power, it is still a challenge to reduce system complexity and maintain high accuracy at the same time. In this paper, we propose a Lane Marking Detector (LMD) using a deep convolutional neural network to extract robust lane marking features. To improve its performance with a target of lower complexity, the dilated convolution is adopted. A shallower and thinner structure is designed to decrease the computational cost. Moreover, we also design post-processing algorithms to construct 3rd-order polynomial models to fit into the curved lanes. Our system shows promising results on the captured road scenes.

연구 동기 및 목표

• 제한된 차량 내 계산 자원을 가진 저전력 자동차 플랫폼에 정확한 차선 탐지 시스템을 구현하는 데 도전한다.
• 실시간 성능을 확보하기 위해 정확도를 희생시키지 않은 채 모델 복잡도를 감소시킨다.
• 구조적 최적화를 통해 도로 차선 마킹 탐지에 특화된 계산 효율적인 딥 네트워크를 설계한다.
• 후처리 단계에서 다항식 모델링을 통해 곡선 차선 탐지에 대한 강건성을 향상시킨다.

제안 방법

• 파라미터 수나 계산 비용을 증가시키지 않고도 감지 영역을 확장하기 위해 확장된 컨볼루션을 사용한 딥 컨volution 신경망(CNN)을 활용한다.
• 기능 추출 능력을 유지하면서도 FLOPs와 추론 시간을 최소화하기 위해 얕고 좁은 네트워크 아키텍처를 설계한다.
• 공간 해상도를 유지하고 다중 척도의 맥락 정보를 확보하기 위해 확장된 컨볼루션을 적용하여 차선 마킹의 국소화에 기여한다.
• 검출된 차선 점들을 3차 다항식 곡선에 피팅하는 후처리 파이프라인을 사용하여 곡선 도로 차선을 정확히 모델링한다.
• 실세계 도로 환경에서의 다양한 조명 조건과 가림 현상에 대응하기 위해 실제 도로 영상에서 엔드 투 엔드로 네트워크를 훈련시킨다.
• 제한된 처리 능력을 가진 임베디드 시스템에 적합한 배포를 목표로 하여 깊이와 너비를 최소화함으로써 추론 효율성을 최적화한다.

실험 결과

연구 질문

• RQ1 어떻게 하면 저전력 자동차 하드웨어에서 실시간 차선 마킹 탐지에 적합한 정확도와 효율성을 동시에 확보할 수 있는가?
• RQ2 확장된 컨볼루션은 차선 탐지 네트워크에서 계산 복잡도를 감소시키면서도 특징 표현을 얼마나 향상시킬 수 있는가?
• RQ3 얕고 좁은 CNN 아키텍처는 차선 마킹 인식 맥락에서 더 깊은 모델에 비해 높은 탐지 정확도를 유지할 수 있는가?
• RQ4 후처리 단계에서의 다항식 피팅은 흐린 또는 흐트러진 탐지 결과에서 곡선 차선 마킹을 얼마나 효과적으로 재구성할 수 있는가?
• RQ5 실세계 도로 환경에서 모델 복잡도와 탐지 성능 사이의 상충 관계는 어떠한가?

주요 결과

• 제안된 LMD는 실도로 환경에서 높은 탐지 정확도를 달성하면서도 낮은 계산 복잡도를 유지하여 임베디드 시스템에 적합하다.
• 확장된 컨볼루션을 사용함으로써 파라미터 수나 FLOPs를 증가시키지 않고도 효과적인 감지 영역 확장을 달성한다.
• 얕고 좁은 네트워크 아키텍처는 추론 시간과 메모리 사용량을 감소시켜 저전력 시스템에서 실시간 운영이 가능하게 한다.
• 3차 다항식 피팅을 통한 후처리가 곡선 차선 마킹을 성공적으로 모델링하여 탐지된 차선의 현실성과 연속성을 향상시킨다.
• 검출된 실제 도로 영상에서 다양한 조명 조건과 도로 환경에서도 강건한 성능을 보이며 검증되었다.
• 이 모델은 국제 디지털 신호 처리 학회(DSP) 2018에서 발표를 수락하여 동료 검토를 통한 기술 기여도가 확인되었다.