[논문 리뷰] Towards Evaluating Driver Fatigue with Robust Deep Learning Models

Ken Alparslan, Yigit Alparslan외 1명|arXiv (Cornell University)|2020. 07. 16.

Sleep and Work-Related Fatigue참고 문헌 25인용 수 7

한 줄 요약

이 논문은 눈의 밀도 분류를 통해 깊이 학습 기반의 내성적인 드라이버 피로 감지 프레임워크를 제안한다. 눈과 얼굴 패치에서 컨볼루션 신경망을 사용하여 수행되며, 눈 모델에서 95.84%의 정확도를 달성하고, 적대적 훈련과 데이터 증강을 통해 얼굴 모델의 성능을 6% 향상시켰다. 양자화된 모델은 약 19 MB로 압축되어 모바일 배포가 가능하다.

ABSTRACT

In this paper, we explore different deep learning based approaches to detect driver fatigue. Drowsy driving results in approximately 72,000 crashes and 44,000 injuries every year in the US and detecting drowsiness and alerting the driver can save many lives. There have been many approaches to detect fatigue, of which eye closedness detection is one. We propose a framework to detect eye closedness in a captured camera frame as a gateway for detecting drowsiness. We explore two different datasets to detect eye closedness. We develop an eye model by using new Eye-blink dataset and a face model by using the Closed Eyes in the Wild (CEW). We also explore different techniques to make the models more robust by adding noise. We achieve 95.84% accuracy on our eye model and 80.01% accuracy on our face model. We also see that we can improve our accuracy on the face model by 6% via adversarial training and data augmentation. We hope that our work will be useful to the field of driver fatigue detection to avoid potential vehicle accidents related to drowsy driving.

연구 동기 및 목표

• 피로 운전으로 인한 사고를 방지하기 위해 비용 효율적이고 모바일에 배포 가능한 드라이버 피로 감지 솔루션을 개발한다.
• 실생활 조건에서 높은 거짓 양성 및 거짓 음성 비율을 보이는 피로 감지 시스템의 문제를 해결한다.
• 조명 변화, 자세 변화 및 가림 등의 환경적 요동에 대한 모델의 강인성을 향상시킨다.
• 고급 차량에 국한되지 않고 널리 접근 가능한 피로 감지 시스템을 모바일 호환 모델을 통해 실현한다.
• 적대적 훈련과 데이터 증강 기법을 통해 모델의 효율성과 정확도를 최적화한다.

제안 방법

• 고유의 눈 깜빡임 데이터셋을 기반으로 깊이 학습된 컨볼루션 신경망을 훈련하여 눈의 밀도(열림 대 폐쇄)를 높은 정확도로 분류한다.
• 폐쇄된 눈의 자연계 이미지(Closed Eyes in the Wild, CEW) 데이터셋을 기반으로 두 번째 모델을 훈련하여 전체 얼굴 이미지에서 눈의 밀도를 감지한다. 이는 실생활 조건을 시뮬레이션한다.
• 기울임, 줌, 스케일링 등의 데이터 증강 기법을 적용하여 적대적인 환경 조건을 시뮬레이션하고 강인성을 향상시킨다.
• 노이즈 주입을 통한 적대적 훈련을 수행하여 블랙박스 적대적 공격(예: 낮은 조도, 움직임 흐림)을 시뮬레이션하고 일반화 능력을 향상시킨다.
• 훈련된 모델을 동결하고, 효율적인 모바일 배포를 위해 텐서플로우 라이트(TFLite) 형식으로 변환한다. 모델 크기는 약 19 MB이다.
• 훈련 및 테스트 분할에서 표준 지표인 정확도, 정밀도, 재현율, F1 점수를 사용하여 성능을 평가한다.

실험 결과

연구 질문

• RQ1 눈 패치 이미지만을 사용하여 딥러닝 모델이 눈의 밀도 감지에서 높은 정확도를 달성할 수 있는가?
• RQ2 정확도와 강인성 측면에서 얼굴 이미지에서의 모델 성능은 눈 패치 이미지에서의 성능보다 어떻게 다른가?
• RQ3 데이터 증강과 함께 적대적 훈련을 수행할 경우, 일반화 능력 향상과 피로 감지에서의 거짓 음성 감소에 얼마나 기여하는가?
• RQ4 제안된 모델들은 정확도 손실 없이 효율적으로 양자화되고 모바일 기기에서 배포 가능한가?
• RQ5 환경적 요동(예: 조명, 자세, 가림)은 모델 성능에 어떤 영향을 미치며, 적대적 훈련은 이러한 영향을 완화할 수 있는가?

주요 결과

• 눈 모델은 테스트 정확도 95.84%를 달성하여 얼굴 모델보다 정확도에서 2% 높은 성능을 보였다.
• 적대적 훈련 없이 얼굴 모델은 정확도 80.01%를 기록했으나, 적대적 훈련과 데이터 증강을 적용한 후 86.01%로 향상되었다.
• 적대적 훈련은 과적합을 감소시키고 약 5%의 재현율 향상을 이끌어내어 눈의 밀도 감지에서 거짓 음성 수를 줄였다.
• 기본 얼굴 모델에서는 훈련 정확도가 테스트 정확도보다 높게 나타나 과적합이 발생했으나, 적대적 훈련을 통해 이를 완화하였다.
• 데이터 증강과 적대적 노이즈를 훈련 중에 사용한 결과, 한 실험에서 데이터 증강을 제거했을 때 정밀도, 재현율, F1 점수 모두 약 12% 향상되었다.
• 모든 모델는 일관된 약 19 MB의 크기로 성공적으로 텐서플로우 라이트(TFLite) 형식으로 양자화되어 잠재적인 모바일 배포가 가능했다.