[논문 리뷰] Driver Behavior Analysis Using Lane Departure Detection Under Challenging Conditions

Luis G. Riera, Koray Özcan외 4명|arXiv (Cornell University)|2019. 05. 31.

Autonomous Vehicle Technology and Safety참고 문헌 18인용 수 9

한 줄 요약

이 논문은 마스크-RCNN을 사용한 차선 분할과 픽스래그 칼만 필터링을 활용한 추적을 통해 저해상도이자 노이즈가 많은 영상에서도 차선 이탈 및 침입을 견고하게 탐지할 수 있는 딥러닝 기반의 차선 이탈 감지 시스템을 제안한다. 이 방법은 당뇨병을 앓는 위험군 운전자를 대상으로 한 자체 구축한 데이터셋에서 차선 이탈 사건 탐지에 대해 81.81%의 민감도를 달성하였다.

ABSTRACT

In this paper, we present a novel model to detect lane regions and extract lane departure events (changes and incursions) from challenging, lower-resolution videos recorded with mobile cameras. Our algorithm used a Mask-RCNN based lane detection model as pre-processor. Recently, deep learning-based models provide state-of-the-art technology for object detection combined with segmentation. Among the several deep learning architectures, convolutional neural networks (CNNs) outperformed other machine learning models, especially for region proposal and object detection tasks. Recent development in object detection has been driven by the success of region proposal methods and region-based CNNs (R-CNNs). Our algorithm utilizes lane segmentation mask for detection and Fix-lag Kalman filter for tracking, rather than the usual approach of detecting lane lines from single video frames. The algorithm permits detection of driver lane departures into left or right lanes from continuous lane detections. Preliminary results show promise for robust detection of lane departure events. The overall sensitivity for lane departure events on our custom test dataset is 81.81%.

연구 동기 및 목표

• 실제 주행 조건에서 모바일 카메라로부터 기록된 저해상도이자 노이즈가 많은 영상 자료를 다룰 수 있는 견고한 차선 이탈 감지 시스템을 개발하는 것.
• 당뇨병 환자와 같은 위험군에서 흔히 발생하는 차선 침입 및 차선 이탈과 같은 위험한 운전 행동을 향상시켜 탐지하는 것.
• 기존의 이미지 특징 기반 차선 탐지 방식의 한계를 극복하기 위해 더 정확한 차선 분할과 추적을 위해 딥러닝을 활용하는 것.
• 고도화된 운전자 보조 시스템(ADAS) 및 현장 안전 개입에 활용 가능한 실시간 또는 근접 실시간 차선 이탈 감지 적용을 가능하게 하는 것.
• 장기적인 행동 연구를 위한 위험군 운전자로부터 수집된 테라바이트 규모의 영상 데이터셋을 대규모로 분석할 수 있도록 지원하는 것.

제안 방법

• 차선 영역의 인스턴스 세그멘테이션을 수행하여 정확한 차선 경계 탐지에 기여하는 픽셀 수준의 마스크를 생성하기 위해 마스크-RCNN 기반 모델을 사전 처리기로 사용한다.
• 세그멘테이션된 차선 마스크의 볼록 껍질 중심을 시간에 따라 추적하여 영상의 수직 중심선 대비 차량의 횡방향 위치를 결정한다.
• 중앙값의 시간 시리즈를 부드럽게 하고 추적 안정성을 향상시키기 위해 픽스래그 칼만 필터를 적용한다.
• 중앙값의 횡방향 오프셋에서 시간적 이동을 기반으로 차선 이탈 사건을 분류한다: 부드럽게 처리된 오프셋 신호에 임계값 설정과 피크 탐지 기반으로 왼쪽/오른쪽 차선 이탈 또는 침입을 탐지한다.
• 피크의 진폭과 지속 시간을 기반으로 한 의사결정 논리에 따라 차선 이탈(지속적인 이탈)과 침입(기존 차선으로의 일시적 복귀)을 구분한다.
• 대칭적인 이격을 향상시키고 노이즈에 대한 강건성을 높이기 위해 부드러운 오프셋 신호에 거울 함수를 적용한다.

실험 결과

연구 질문

• RQ1 마스크-RCNN 기반의 세그멘테이션 모델은 모바일 카메라에서 기록된 저해상도이자 노이즈가 많은 영상 자료에서 신뢰할 수 있는 차선 탐지 성능을 보일 수 있는가?
• RQ2 어려운 시각 조건 하에서도 중심점 추적과 칼만 필터링이 차선 이탈 사건, 특히 침입을 얼마나 효과적으로 탐지하고 분류할 수 있는가?
• RQ3 실제 주행 조건의 위험군 운전자 데이터셋에서 제안된 시스템의 차선 이탈 사건 탐지 민감도는 얼마인가?
• RQ4 노이즈와 투시 변형(예: 치르프 효과)은 차선 이탈 감지 성능에 어떤 영향을 미치며, 스무딩 기법은 이러한 문제를 완화할 수 있는가?
• RQ5 이 시스템은 차량 기반 ADAS 또는 임상 모니터링 시스템에서 실시간 구현에 얼마나 잘 적응할 수 있는가?

주요 결과

• 마스크-RCNN 모델은 테스트 데이터셋에서 평균 정밀도(마이너스 평균 정밀도, mAP) 0.82를 기록하여 차선 인스턴스 세그멘테이션에서 뛰어난 성능을 보였다.
• 전반적인 차선 이탈 사건 탐지 민감도는 81.81%였으며, 이는 TP / (TP + FN)로 계산된 것으로, 위험한 차선 이탈을 신뢰성 있게 탐지함을 나타낸다.
• 시험 세트에서 차선 침입의 2개를 탐지하는 데 성공하여, 이 특정 유형의 사건에 대해 중간 정도이지만 유망한 성능을 보였다.
• 모델는 오프셋 노이즈에 매우 민감하여 피크 탐지 및 사건 분류 정확도에 영향을 미쳤다.
• 스무딩 기법, 즉 거울 함수와 칼만 필터링을 통해 신호 안정성이 향상되었지만, 노이즈 및 투시 왜곡에 대한 민감도를 완전히 제거하지 못했다.
• 볼록 껍질 중심 추적을 활용한 방법은 차선 중심 대비 차량 횡방향 위치 추정에 있어 강건한 방법을 제공하여 효과적인 행동 분류를 가능하게 하였다.