[논문 리뷰] Structure-Aware Network for Lane Marker Extraction with Dynamic Vision Sensor

Wensheng Cheng, Hao Luo외 3명|arXiv (Cornell University)|2020. 08. 14.

Autonomous Vehicle Technology and Safety참고 문헌 45인용 수 17

한 줄 요약

이 논문은 고해상도 동적 시각 센서(DVS) 이미지에서 차선 마커를 추출하기 위해 다중 방향 슬라이스 컨볼루션을 갖춘 구조 인식 네트워크(SANet)를 제안한다. 1280×800 해상도의 5,424장의 DVS 이미지와 픽셀 수준의 주석을 포함한 DET 데이터셋을 도입하였으며, SANet이 최신 기술을 초월하여 DET 벤치마크에서 평균 F1 점수 74.21%와 평균 IoU 60.86%를 달성함을 입증하였다.

ABSTRACT

Lane marker extraction is a basic yet necessary task for autonomous driving. Although past years have witnessed major advances in lane marker extraction with deep learning models, they all aim at ordinary RGB images generated by frame-based cameras, which limits their performance in extreme cases, like huge illumination change. To tackle this problem, we introduce Dynamic Vision Sensor (DVS), a type of event-based sensor to lane marker extraction task and build a high-resolution DVS dataset for lane marker extraction. We collect the raw event data and generate 5,424 DVS images with a resolution of 1280$ imes$800 pixels, the highest one among all DVS datasets available now. All images are annotated with multi-class semantic segmentation format. We then propose a structure-aware network for lane marker extraction in DVS images. It can capture directional information comprehensively with multidirectional slice convolution. We evaluate our proposed network with other state-of-the-art lane marker extraction models on this dataset. Experimental results demonstrate that our method outperforms other competitors. The dataset is made publicly available, including the raw event data, accumulated images and labels.

연구 동기 및 목표

• 급격한 조도 변화와 같은 극한의 조명 조건에서 RGB 기반 차선 검출의 한계를 해결하기 위해.
• 프레임 기반 카메라가 저조도 또는 고다이나믹 레인지 환경에서 성능이 열 劣하므로, 동적 시각 센서(DVS)를 활용하여 이를 극복하기 위해.
• 1280×800 해상도의 5,424장의 이미지와 다중 클래스 세그멘테이션 레이블을 포함한 고해상도 DVS 데이터셋(DET)을 개발하기 위해.
• 색채상 정보가 풍부하지 않은 DVS 데이터에서 방향성 및 맥락적 구조적 정보를 효과적으로 포착할 수 있도록 구조 인식 네트워크(SANet)를 설계하기 위해.
• 장거리 연속적인 차선 구조를 모델링하기 위해 다중 방향 슬라이스 컨볼루션을 통합하여 차선 마커 세그멘테이션 정확도를 향상시키기 위해.

제안 방법

• CeleX V DVS 카메라를 사용하여 5시간의 원시 이벤트 스트림을 수집하고, 1280×800 픽셀 해상도의 5,424장의 고해상도 DVS 이미지를 생성하여 DET 데이터셋을 구축하였다.
• 일般 및 전문화된 차선 검출 모델을 지원하기 위해 다중 클래스 세그멘테이션 및 이진 세그멘테이션 두 가지 주석 형식을 제공하였다.
• 다양한 방향성에 걸쳐 특징을 포착하기 위해 다중 방향 슬라이스 컨볼루션(MSC) 모듈을 사용하는 구조 인식 네트워크(SANet)를 제안하였다.
• 다양한 커널 크기(3에서 11까지)의 슬라이스 컨볼루션을 통합하여 차선 마커의 구조적 연속성을 모델링하였으며, 커널 크기 9에서 최적의 성능을 기록하였다.
• 다양한 스케일의 스케일 연결 설계를 통해 계층 간의 맥락적 특징을 집계하면서도 공간적 세부 정보를 유지하였다.
• 표준 평가 지표인 평균 F1 점수와 평균 교차율(IoU)을 사용하여 FCN, DeepLabv3, RefineNet, SCNN와의 비교를 통해 모델을 훈련 및 평가하였다.

실험 결과

연구 질문

• RQ1 고해상도 DVS 데이터셋이 극한의 조명 조건에서 차선 마커 추출 성능을 크게 향상시킬 수 있는가?
• RQ2 다중 방향 슬라이스 컨볼루션을 갖춘 구조 인식 네트워크가 DVS 데이터에서 장거리 연속적인 차선 구조를 효과적으로 포착할 수 있는가?
• RQ3 슬라이스 컨볼루션을 통한 방향성 특징 학습이 표준 CNN 및 SCNN와 같은 전문화된 모델보다 이벤트 기반 차선 세그멘테이션에서 우월한 성능을 내는가?
• RQ4 DVS 이미지의 차선 마커 기하학을 모델링할 때 슬라이스 컨볼루션의 최적 커널 크기는 무엇인가?
• RQ5 기존의 세그멘테이션 및 전용 차선 모델에 비해 제안된 방법이 이벤트 기반 데이터에서 얼마나 일반화 가능한가?

주요 결과

• 제안된 DET 데이터셋은 차선 마커 추출을 위한 첫 번째 고해상도 DVS 데이터셋으로, 1280×800 해상도의 5,424장의 이미지와 정밀한 픽셀 수준 주석을 포함한다.
• 다중 방향 슬라이스 컨볼루션을 갖춘 구조 인식 네트워크(SANet_MSC)는 SCNN(73.85% F1, 60.44% IoU)보다 IoU에서 0.42% 향상된 74.21% 평균 F1 및 60.86% 평균 IoU를 달성하였다.
• MSC 모듈은 기준 모델 대비 성능을 크게 향상시켰으며, 평균 F1은 1.78% 향상되고 평균 IoU는 1.91% 향상되었다.
• 슬라이스 컨볼루션에서 커널 크기 9가 최적의 성능(74.21% F1, 60.86% IoU)을 기록하였으며, 더 작은(3–7) 및 더 큰(11) 커널보다 뛰어났다.
• 저다이나믹 레인지로 인해 프레임 기반 카메라가 실패하는 턨널 전환과 같은 극한의 조명 조건에서도 뛰어난 내구성을 보였다.
• 일반적인 세그멘테이션 모델(FN, DeepLabv3, RefineNet)은 차선 기하학에 대한 구조적 인덕티브 바이어스가 부족하여 65% 미만의 F1 점수를 기록한 반면, 제안된 방법은 이를 초월하였다.