[논문 리뷰] LaneNet: Real-Time Lane Detection Networks for Autonomous Driving

Ze Wang, Weiqiang Ren외 1명|arXiv (Cornell University)|2018. 07. 04.

Autonomous Vehicle Technology and Safety참고 문헌 16인용 수 71

한 줄 요약

LaneNet은 실시간으로 차선 라인을 감지하기 위해 연산 비용이 낮고 다양한 도로 상황에 강건한 두 단계 접근법(차선 에지 제안과 차선 라인 로컬라이제이션)을 사용합니다.

ABSTRACT

Lane detection is to detect lanes on the road and provide the accurate location and shape of each lane. It severs as one of the key techniques to enable modern assisted and autonomous driving systems. However, several unique properties of lanes challenge the detection methods. The lack of distinctive features makes lane detection algorithms tend to be confused by other objects with similar local appearance. Moreover, the inconsistent number of lanes on a road as well as diverse lane line patterns, e.g. solid, broken, single, double, merging, and splitting lines further hamper the performance. In this paper, we propose a deep neural network based method, named LaneNet, to break down the lane detection into two stages: lane edge proposal and lane line localization. Stage one uses a lane edge proposal network for pixel-wise lane edge classification, and the lane line localization network in stage two then detects lane lines based on lane edge proposals. Please note that the goal of our LaneNet is built to detect lane line only, which introduces more difficulties on suppressing the false detections on the similar lane marks on the road like arrows and characters. Despite all the difficulties, our lane detection is shown to be robust to both highway and urban road scenarios method without relying on any assumptions on the lane number or the lane line patterns. The high running speed and low computational cost endow our LaneNet the capability of being deployed on vehicle-based systems. Experiments validate that our LaneNet consistently delivers outstanding performances on real world traffic scenarios.

연구 동기 및 목표

• 강한 차선 수 가정 없이 단단하고 다양한 차선 패턴(실선, 점선, 합류, 분리)을 처리하는 견고한 차선 검출 방법을 개발한다.
• 저렴한 계산 비용으로 차량 기반 시스템에 적합한 실시간 성능을 달성한다.
• 신뢰성을 높이고 차선에 대한 약지도 학습을 가능하게 하기 위해 해석 가능한 중간 차선 에지 제안을 제공한다.
• 두 단계 설계를 통해 두 번째 단계에서 약지도 학습을 허용하여 주석 비용을 줄인다.

제안 방법

• 두 단계 아키텍처: 차선 에지 제안 네트워크(이진 픽셀 단위 분류) 다음에 차선 라인 로컬라이제이션 네트워크.
• 차선 에지 제안은 효율성과 맥락을 위해 깊이별 분해 합성곱과 확장 합성곱을 사용하는 경량 인코더-디코더를 사용한다.
• 디코더는 추가 매개변수 없이 해상도를 회복하기 위해 서브픽셀 합성곱을 사용한다.
• 차선 라인 로컬라이제이션 네트워크는 차선 에지 점의 좌표를 PointNet 유사한 입력 순서 불변 인코더로 인코딩하고 LSTM 디코더를 사용하여 차선 매개변수를 예측한다.
• 차선은 2차 함수로 표현된다; 학습은 학습 안정화를 위해 고정된 Y 레벨(Y=0, Y=h/2, Y=h)에서의 그라운드 트루스 키 값을 사용한다.
• 약지도 학습(min-distance 손실, 이미지당 차선 수만 활용)과 초기 학습을 위한 지도 학습을 결합한다.

실험 결과

연구 질문

• RQ1 고정된 차선 수를 가정하지 않고도 두 단계 신경망 구조가 다양한 차선 패턴을 정확히 감지할 수 있는가?
• RQ2 약지도 차선 라인 학습 목표가 정확도와 데이터 주석 비용에 미치는 영향은 무엇인가?
• RQ3 실제 고속도로 및 도시 환경에서 LaneNet의 성능은 기존 차선 검출 방법과 비교하여 어떤가?

주요 결과

난이도	검출된 수	TPR	FPR
쉬움	916	78.2%	9.5%
어려움	801	77.4%	15.9%
LaneNet (쉬움)	1146	97.9%	2.7%
LaneNet (어려움)	1001	96.7%	3.9%

• LaneNet은 Easy 및 Hard 하위 집합에서 이전 방법보다 높은 실제 양성 비율과 낮은 거짓 양성 비율을 달성한다( Easy: TPR 97.9%, FPR 2.7%; Hard: TPR 96.7%, FPR 3.9%).
• LaneNet은 더 많은 차선을 검출한다( Easy: 1146 검출) 비교 방법의 916보다 많고 점선, 실선, 복합 차선 패턴에서도 견고함을 유지한다.
• 차선 에지 제안 네트워크는 NVIDIA Titan Xp에서 최대 330 FPS로 동작하며 차선 라인 로컬라이제이션 네트워크는 약 4배 faster로 총 250 FPS를 가능하게 한다; Jetson TX1에서는 약 26 FPS.
• 전체 모델 크기는 1 GB 미만으로 차량 배치에 적합하다.
• 약지도 학습과 추가 약라벨 데이터가 성능을 향상시키며, 특히 어려운 케이스에서 효과적이다(예: Easy: 1129 검출, TPR 96.4%, FPR 2.8%; 튜닝 후: 1146 검출, TPR 97.9%, FPR 2.7%).