[논문 리뷰] A Pattern Recognition System for Detecting Use of Mobile Phones While Driving

Rafael Alceste Berri, Alexandre Gonçalves Silva외 3명|arXiv (Cornell University)|2014. 08. 04.

Sleep and Work-Related Fatigue인용 수 29

한 줄 요약

이 논문은 다운스트림 이미지에서 운전자의 휴대폰 사용을 탐지하기 위해 다항 커널을 사용하는 SVM를 사용하는 패턴 인식 시스템을 제안한다. 이미지 데이터셋에서 91.57%의 정확도를 달성했으며, 3초 간격의 실시간 영상 분류에서는 87.43%의 정확도를 보였다. 시스템은 운전자 이미지에서 시각적 특징을 추출하고 최적화된 커널 기반 학습을 통해 휴대폰 존재 여부를 분류하며, 조명 조건과 분할 문제로 인해 성능에 영향을 받는다.

ABSTRACT

It is estimated that 80% of crashes and 65% of near collisions involved drivers inattentive to traffic for three seconds before the event. This paper develops an algorithm for extracting characteristics allowing the cell phones identification used during driving a vehicle. Experiments were performed on sets of images with 100 positive images (with phone) and the other 100 negative images (no phone), containing frontal images of the driver. Support Vector Machine (SVM) with Polynomial kernel is the most advantageous classification system to the features provided by the algorithm, obtaining a success rate of 91.57% for the vision system. Tests done on videos show that it is possible to use the image datasets for training classifiers in real situations. Periods of 3 seconds were correctly classified at 87.43% of cases.

연구 동기 및 목표

• 사고 유발 주행 중 도로 위의 분산을 줄이기 위해 운전 중 휴대폰 사용을 신뢰성 있게 탐지할 수 있는 패턴 인식 시스템을 개발하기 위해.
• 휴대폰 존재 여부를 나타내는 시각적 특징을 전면 운전자 이미지에서 식별하고 추출하기 위해.
• 고정밀도 탐지에 적합한 최적의 분류 모델—특히 다양한 커널 함수를 갖춘 SVM—을 평가하고 선택하기 위해.
• 실제 주행 조건에서의 실시간 영상 처리 성능을 테스트하기 위해.
• 조명 변화 및 분할 오류와 같은 문제로 인한 탐지 신뢰성에 영향을 미치는 요소를 해결하기 위해.

제안 방법

• 시스템은 운전자의 전면 이미지를 사용하며, 학습에 100장의 양성(휴대폰 존재) 및 100장의 음성(휴대폰 없음) 이미지를 사용한다.
• 특징 추출 알고리즘이 이미지를 처리하여 관련 시각적 패턴을 식별하며, YCrCb 및 LUV 색상 공간을 사용한 피부 분할을 포함한다.
• 다양한 커널 함수—다항, 반경기저, 선형, 시그모이드—를 갖춘 서포트 벡터 머신(SVM)을 분류에 대해 평가한다.
• 다항 커널이 최적의 성능을 보였으며, 유전 알고리즘(GA)을 통해 초모수를 최적화하여 정확도를 극대화한다.
• 실시간 영상 처리는 다중 스레드 병렬 처리를 통해 구현되었으며, 최대 6.4 FPS로 처리되며, 분류를 위해 3초 슬라이딩 윈도우를 사용한다.
• 시각적 경고 시스템은 휴대폰 사용 확률에 따라 색상 코드로 구분된 진행 막대(녹색, 노란색, 빨간색)를 사용해 실시간 위험 수준을 표시한다.

실험 결과

연구 질문

• RQ1 전면 운전자 이미지에서 휴대폰 사용 여부를 효과적으로 구분하는 데 가장 유용한 시각적 특징은 무엇인가?
• RQ2 휴대폰 사용 탐지에 있어 어떤 SVM 커널 함수가 가장 높은 분류 정확도를 제공하는가?
• RQ3 다양한 조명 및 환경 조건에서 실시간 영상 처리 성능은 어떻게 되는가?
• RQ4 이미지 전처리 및 분할 오류가 탐지 정확도에 미치는 영향은 어느 정도인가?
• RQ5 신뢰성 있는 경고를 통해 운전자에게 휴대폰 사용 여부를 실시간으로 알릴 수 있는 저지연 시스템을 구현할 수 있는가?

주요 결과

• 다항 커널을 사용한 SVM가 이미지 데이터셋에서 가장 높은 정확도 91.57%를 기록했으며, 다른 커널 유형보다 뚜렷하게 뛰어났다.
• 모든 테스트된 SVM 커널이 통계적으로 유사한 평균 정확도를 보였으며, 커널 선택에 따른 안정성이 확인되었다.
• 실시간 영상 분류에서는 3초 간격의 휴대폰 사용을 총 87.43%의 경우에서 정확히 식별했다.
• 최적의 분류 임계값은 65%로 확인되었으며, 이 경우 '휴대폰 있음'의 정확도는 77.33%, '휴대폰 없음'의 정확도는 88.97%였다.
• 특히 영상 4 및 5에서 운전자 얼굴 및 차량 내부 표면의 햇빛 반사로 인한 분할 실패로 정확도가 저하되었다.
• 다중 스레드 처리를 통해 실시간 성능을 6 FPS로 달성했으며, 색상 코드로 구분된 위험 수준 경고 기능을 갖춘 시각적 경고 메커니즘을 구현했다.