[논문 리뷰] Road Segmentation Using CNN with GRU

Yecheng Lyu, Xinming Huang|arXiv (Cornell University)|2018. 04. 14.

Advanced Neural Network Applications참고 문헌 27인용 수 12

한 줄 요약

이 논문은 자율주행 차량에서 실시간 도로 세그먼테이션을 위한 경량 CNN-GRU 네트워크를 제안한다. 국소적 특징 추출을 위해 컨볼루션 신경망을 사용하고, 공간적 맥락을 효율적으로 모델링하기 위해 게이팅된 순환 단위(Gated Recurrent Units)를 활용한다. KITTI 벤치마크에서 50 FPS로 86.91%의 F1 스코어와 81.11%의 평균 정밀도를 달성하며, 이전 연구 대비 추론 속도와 파rameter 효율성에서 뛰어나면서도 낮은 가짜 양성률을 유지한다.

ABSTRACT

This paper presents an accurate and fast algorithm for road segmentation using convolutional neural network (CNN) and gated recurrent units (GRU). For autonomous vehicles, road segmentation is a fundamental task that can provide the drivable area for path planning. The existing deep neural network based segmentation algorithms usually take a very deep encoder-decoder structure to fuse pixels, which requires heavy computations, large memory and long processing time. Hereby, a CNN-GRU network model is proposed and trained to perform road segmentation using data captured by the front camera of a vehicle. GRU network obtains a long spatial sequence with lower computational complexity, comparing to traditional encoder-decoder architecture. The proposed road detector is evaluated on the KITTI road benchmark and achieves high accuracy for road segmentation at real-time processing speed.

연구 동기 및 목표

• 자율주행 차량의 임베디드 시스템에 적합한 빠르고 정확한 도로 세그먼테이션 방법을 개발하기 위해.
• 기존에 세그먼테이션 작업에 널리 사용되는 깊은 인코더-디코더 네트워크에 비해 계산 복잡도와 메모리 사용량을 줄이기 위해.
• 순환 신경망을 활용해 기존 아키텍처보다 더 효율적으로 도로 이미지의 장거리 공간적 종속성을 모델링하기 위해.
• 표준 벤치마크인 KITTI에서 높은 정확도를 유지하면서 실시간 성능을 향상시키기 위해.
• 자율 주행 내비게이션의 안전성을 향상시키기 위해 주행 가능한 영역 탐지에서의 가짜 양성률을 최소화하기 위해.

제안 방법

• 네트워크는 입력 이미지의 공간적 특징을 추출하기 위해 경량 CNN을 국소적 특징 인코더로 사용한다.
• 깊은 스케일 연결을 대체하기 위해, 이미지의 열을 따라 장거리 공간적 종속성을 모델링하는 GRU 기반의 맥락 프로세서를 적용한다.
• 공간적 위치를 인코딩하기 위해 좌표 입력 채널을 추가하여 도로 영역의 국소화 정확도를 향상시킨다.
• 도로 영역 경계 위치를 예측하기 위해 평균 절대 오차(MAE) 손실을 사용하여 모델을 훈련시킨다.
• 데이터 증강에는 무작위 스케일링(0.5–1.0×)과 이동(수평 60px, 수직 20px)이 포함되어 훈련 다양성을 높인다.
• 학습에는 고정 학습률 1e-4와 배치 크기 125를 사용한 Adam 옵timizer를 사용하며, 총 80 에포크 동안 훈련한다.

실험 결과

연구 질문

• RQ1 깊은 인코더-디코더 네트워크에 비해 계산 비용을 더 낮게 하면서도, GRU 기반 순환 네트워크가 도로 세그먼테이션에서 공간 맥락을 효과적으로 모델링할 수 있는가?
• RQ2 단일 카메라 이미지에서 입력에 공간 좌표를 통합함으로써 도로 경계 국소화 정확도는 어떻게 향상되는가?
• RQ3 경량 CNN-GRU 아키텍처가 KITTI 벤치마크에서 높은 정확도를 유지하면서도 실시간 추론 속도를 달성할 수 있는가?
• RQ4 최신 기술 대비 제안된 방법은 정밀도 및 모델 효율성 측면에서 어떻게 비교되는가?
• RQ5 실생활 주행 환경에서 흔히 발생하는 조도 변화 및 가림 조건에서도 모델이 잘 일반화되는가?

주요 결과

• 제안된 CNN-GRU 모델은 KITTI 테스트 세트에서 86.91%의 F1 스코어와 81.11%의 평균 정밀도를 달성하여 뛰어난 세그먼테이션 정확도를 입증한다.
• 낮은 가짜 양성률 4.39%를 기록하여 자율주행 차량의 경로 계획에서 안전성을 향상시킨다.
• GTX 950M GPU에서 50 프레임 매초로 이미지를 처리하여 실시간 구현에 적합하다.
• 전용 파라미터 수 279만 개와 19.7억 FLOPs로 기존 방법에 비해 모델 크기와 계산 비용 측면에서 크게 효율적이다.
• StixelNet과 MAP에 비해 추론 속도와 파라미터 수에서 뛰어나면서도, F1 스코어와 정밀도는 유사하거나 더 우수한 성능을 기록한다.
• 가짜 음성은 주로 도로/차량 및 도로/보도 경계에서 발생하며, 가짜 양성은 주로 보도에서 관찰되어 향후 보완이 필요함을 시사한다.