[논문 리뷰] Keep Your AI-es on the Road: Tackling Distracted Driver Detection with Convolutional Neural Networks and Targeted Data Augmentation

Nikka Mofid, Jasmine Bayrooti외 1명|arXiv (Cornell University)|2020. 06. 19.

Face recognition and analysis인용 수 7

한 줄 요약

이 논문은 ResNet-50를 사용하여 다중 클래스의 방취 운전자 탐지 시스템을 제안하며, 표적화된 데이터 증강 기법(얼굴 흐림 처리, 피부 세분화, 고전적 증강 기법 포함)을 결합하여 기준 모델 대비 F1 점수를 15% 향상시켰다. 이 방법은 얼굴 특징과 배경 노이즈에 대한 과적합을 줄이고 운전자의 자세에 초점을 맞춤으로써 모델의 일반화 능력을 향상시킨다.

ABSTRACT

According to the World Health Organization, distracted driving is one of the leading cause of motor accidents and deaths in the world. In our study, we tackle the problem of distracted driving by aiming to build a robust multi-class classifier to detect and identify different forms of driver inattention using the State Farm Distracted Driving Dataset. We utilize combinations of pretrained image classification models, classical data augmentation, OpenCV based image preprocessing and skin segmentation augmentation approaches. Our best performing model combines several augmentation techniques, including skin segmentation, facial blurring, and classical augmentation techniques. This model achieves an approximately 15% increase in F1 score over the baseline, thus showing the promise in these techniques in enhancing the power of neural networks for the task of distracted driver detection.

연구 동기 및 목표

• 제한된 훈련 데이터와 일관된 카메라 시점으로 인한 과적합 문제를 해결하기 위해 방취 운전자 탐지에서의 과적합 문제를 다루기.
• 표적화된 이미지 전처리 및 증강 기법을 통해 다양한 운전자와 시점에서의 모델 일반화 능력을 향상시키기.
• 인지적 요인을 제외한 시각적 및 수동적 방취를 다루기 위해 10개의 구체적인 운전자 행동 카테고리로 구성된 다중 클래스 분류기 훈련하기.
• F1 점수, 정밀도, 재현율을 핵심 지표로 삼아 다양한 증강 기법이 모델 성능에 미치는 영향 평가하기.
• 얼굴 특징에 대한 의존도를 최소화하고 운전자의 자세에 초점을 맞춘 강력한 분류기 개발하기

제안 방법

• 이미지 분류를 위한 기본 CNN 아키텍처로 사전 훈련된 ResNet-50 사용하기.
• 훈련 데이터 다양성을 높이기 위해 무작위 회전 및 밝기 조정과 같은 고전적 데이터 증강 기법 적용하기.
• OpenCV 기반 얼굴 흐림 처리를 통해 모델의 얼굴 특징에 대한 과적합을 줄이고 신체 자세에 초점을 맞추도록 유도하기.
• 피부 세분화 이미지를 생성하여 오직 운전자의 신체만 강조함으로써 배경 노이즈를 억제하고 자세에 초점을 맞추기.
• 얼굴 흐림 처리, 피부 세분화, 고전적 증강 기법을 조합하여 앙상블 방법을 구현함으로써 특징 학습과 일반화 능력을 극대화하기.
• 시각화를 통해 모델의 주의 집중 영역을 분석하고, 얼굴이나 관련 없는 배경이 아닌 신체 부위(예: 팔, 가슴)에 주로 집중하는지 확인하기 위해 선명도 맵(saliency maps) 사용하기.

실험 결과

연구 질문

• RQ1 다양한 데이터 증강 전략이 방취 운전자 탐지에서 CNN의 F1 점수와 일반화 성능에 어떤 영향을 미치는가?
• RQ2 얼굴 흐림 처리가 운전자 이미지의 얼굴 특징에 대한 과적합을 줄여 모델의 강건성을 향상시키는가?
• RQ3 피부 세분화 증강 기법이 운전자의 자세에 대한 모델의 집중도를 향상시키는가, 아니면 노이즈를 유발하여 성능을 떨어뜨리는가?
• RQ4 다양한 증강 기법의 조합이 모델 성능과 주의 분포에 미치는 통합적 영향은 무엇인가?
• RQ5 선명도 맵를 통해 모델이 임의의 이미지 패턴이 아닌 자세 관련 특징에 주목하는지 확인할 수 있는 정도는 어느 정도인가?

주요 결과

• 모든 증강 기법의 앙상블이 가장 높은 F1 점수 0.662를 기록하여 기준 모델 대비 약 15% 향상되었다.
• 얼굴 흐림 처리만으로도 얼굴 특징에 대한 과적합을 줄여 성능 향상을 이끌었으며, 선명도 맵 분석 결과 팔과 흉부 부위에 더 많은 주의를 기울이는 것으로 확인되었다.
• 피부 세분화 증강 기법만으로는 성능이 악화되었는데, 이는 모델이 검은 부분에 과적합되거나 세분화 마스크를 의미 있는 특징으로 오해하기 때문일 가능성이 높다.
• 모든 증강 기법의 조합로 인해 운전자의 자세에 대한 주의 집중이 가장 명확해졌고, 배경 및 얼굴 세부 정보에 대한 민감도가 감소한 것으로 선명도 맵을 통해 확인되었다.
• 최종 모델은 증강을 통해 유효한 훈련 세트 크기를 4배로 증가시켜 일반화 능력과 강건성 향상에 기여했다.
• 제거 실험(ablation study) 결과, 해석 도구인 선명도 맵를 활용한 다중 증강 전략 조합이 개별 기법보다 더 효과적인 것으로 나타났다.