[논문 리뷰] Virtual Breathalyzer

Ben Nassi, Lior Rokach외 1명|arXiv (Cornell University)|2016. 12. 14.

Anomaly Detection Techniques and Applications참고 문헌 24인용 수 4

한 줄 요약

이 논문은 스마트워치, 스마트폰, 구글 글래스, 피트니스 트래커 등의 웨어러블 기기에서 수집한 동작 데이터를 활용해 감독 학습 기반 기계학습을 통해 음주 상태를 탐지하는 가상의 술 취함 측정기 시스템을 제안한다. 자유보행 패턴을 분석함으로써 이 시스템은 0.95 AUC와 100% TPR에서 0.05 FPR의 성능을 달성하여, 음주 운전이 감지될 경우 사용자에게 경고하거나 연결된 자동차를 비활성화하는 비침습적 방법을 제공한다.

ABSTRACT

Driving under the influence of alcohol is a widespread phenomenon in the US where it is considered a major cause of fatal accidents. In this research we present a novel approach and concept for detecting intoxication from motion differences obtained by the sensors of wearable devices. We formalize the problem of drunkenness detection as a supervised machine learning task, both as a binary classification problem (drunk or sober) and a regression problem (the breath alcohol content level). In order to test our approach, we collected data from 30 different subjects (patrons at three bars) using Google Glass and the LG G-watch, Microsoft Band, and Samsung Galaxy S4. We validated our results against an admissible breathalyzer used by the police. A system based on this concept, successfully detected intoxication and achieved the following results: 0.95 AUC and 0.05 FPR, given a fixed TPR of 1.0. Applications based on our system can be used to analyze the free gait of drinkers when they walk from the car to the bar and vice-versa, in order to alert people, or even a connected car and prevent people from driving under the influence of alcohol.

연구 동기 및 목표

• 숨음성, 웨어러블 기반의 방법을 개발하여 숨김기기 대신 동작 데이터를 활용해 음주 상태를 탐지한다.
• 다양한 웨어러블 센서에서 유도된 보행 패턴을 활용해 음주 상태 탐지를 감독 학습 기반의 과제로 정형화한다.
• 음주 상태 탐지에 있어 다양한 센서 유형과 특징 집합(예: 히스토그램, 주파수, 통계)의 효과를 평가한다.
• 실제 바 환경에서 경찰용 보정 기준의 숨김기기 측정치와 비교하여 시스템의 타당성을 검증한다.
• 이 시스템이 연결된 차량에 통합되어 음주 운전을 방지할 수 있는지의 가능성을 탐색한다.

제안 방법

• 구글 글래스, 엘지 G-워치, 마이크로소프트 밴드, 삼성 갤럭시 S4를 사용해 30명의 참가자로부터 보행 동작 데이터를 수집했다.
• 탐지 과제를 이진 분류(음주 대 비음주)와 회귀(혈중 알코올 농도, BrAC 추정)로 정의했다.
• 음주 상태 수준을 레이블링하기 위해 경찰용 보정 기준의 숨김기기를 기준으로 삼았다.
• 네 가지 특징 집합을 추출했다: 운동 분포의 히스토그램, 주파수 도메인 특징(FFT), 알려진 보행 특징, 통계적 특징.
• SVM, RF, GBC, LR 등의 다수의 분류기 모델을 훈련 및 평가하였으며, 기울기 부스팅 분류기(GBC)가 가장 뛰어난 성능을 보였다.
• 각 특징 집합이 전체 탐지 정확도에 기여하는 정도를 평가하기 위해 아블레이션 연구를 수행했다.

실험 결과

연구 질문

• RQ1 일상적인 웨어러블 기기에서의 동작 데이터는 보행 패턴 변화를 기반으로 음주 상태를 신뢰성 있게 탐지할 수 있는가?
• RQ2 어떤 웨어러블 기기 조합과 센서 특징 조합이 음주 상태 탐지 정확도를 가장 높이는가?
• RQ3 히스토그램, 주파수, 통계, 보행 특징 등의 다양한 특징 집합이 탐지 모델 성능에 어떤 기여를 하는가?
• RQ4 자유보행 패턴 기반의 시스템은 실생활 개입에 활용할 수 있을 정도로 충분한 정확도로 음주 상태를 탐지할 수 있는가?
• RQ5 이 시스템은 운전자가 음주 상태일 경우 시동을 비활성화하는 데 충분히 견고하여 연결된 자동차에 구현 가능한가?

주요 결과

• 네 대의 웨어러블 기기 데이터를 사용해 BrAC 기준 240 μg/L일 때 음주 상태 탐지에 대해 AUC 0.95를 달성했다.
• 스마트폰과 스마트워치만으로도 AUC 0.94를 기록하여 최소한의 하드웨어로도 뛰어난 성능을 보였다.
• 운동 분포의 히스토그램이 가장 중요한 특징 집합으로, 별도로 사용했을 때 최고의 AUC 0.80를 기록했고, 제외했을 경우 가장 낮은 AUC 0.42를 기록했다.
• 주파수 기반 특징은 기여도가 가장 낮았으며, 별도로 사용했을 때 AUC 0.53, 제외했을 경우 AUC 0.97로 나타나 예측 능력이 제한적임을 시사했다.
• 시스템은 100%의 참으로 양성률(TPR)과 오직 5%의 참으로 음성률(FPR)을 유지하여 높은 민감도와 낮은 오류 경고 비율을 확보했다.
• 결과적으로 음주 상태 탐지에는 다부위의 운동 데이터가 필요하며, 단일 신체 센서만으로는 신뢰할 만한 탐지가 불가능하다는 점을 시사한다.