[논문 리뷰] Unstructured Handwashing Recognition using Smartwatch to Reduce Contact Transmission of Pathogens

Emanuele Lattanzi, Lorenzo Calisti외 1명|arXiv (Cornell University)|2021. 07. 28.

COVID-19 diagnosis using AI참고 문헌 50인용 수 17

한 줄 요약

이 논문은 상용 스마트워치에서 측정한 관성 센서 데이터(가속도계 및 자이로스코프)를 이용해 비정형 세수 및 손소독을 인식하는 스마트워치 기반 머신러닝 시스템을 제안한다. 표준 및 딥러닝 모델을 두 개의 데이터셋에 대해 평가하여 94–95%의 분류 정확도를 달성하였으며, 이는 엣지에 배포 가능한 모델(예: SVM)이 클라우드 의존 없이 개인 정보 보호, 실시간, 지속적인 위생 모니터링을 가능하게 함을 보여준다.

ABSTRACT

Current guidelines from the World Health Organization indicate that the SARS-CoV-2 coronavirus, which results in the novel coronavirus disease (COVID-19), is transmitted through respiratory droplets or by contact. Contact transmission occurs when contaminated hands touch the mucous membrane of the mouth, nose, or eyes so hands hygiene is extremely important to prevent the spread of the SARSCoV-2 as well as of other pathogens. The vast proliferation of wearable devices, such as smartwatches, containing acceleration, rotation, magnetic field sensors, etc., together with the modern technologies of artificial intelligence, such as machine learning and more recently deep-learning, allow the development of accurate applications for recognition and classification of human activities such as: walking, climbing stairs, running, clapping, sitting, sleeping, etc. In this work, we evaluate the feasibility of a machine learning based system which, starting from inertial signals collected from wearable devices such as current smartwatches, recognizes when a subject is washing or rubbing its hands. Preliminary results, obtained over two different datasets, show a classification accuracy of about 95% and of about 94% for respectively deep and standard learning techniques.

연구 동기 및 목표

• 스마트워치에서 측정한 관성 신호를 이용해 비정형 세수 및 손소독을 비침습적이고 웨어러블 방식으로 탐지하는 시스템을 개발하는 것.
• 높은 개인 간 변동성과 미세 운동이 존재하는 상황에서도 머신러닝 모델이 손위생 활동을 인식할 수 있는지의 타당성을 평가하는 것.
• 정확도와 계산 효율성 측면에서 표준 학습(SVM, ERS-KNN)과 딥러닝(LSTM, CNN) 모델을 비교하는 것.
• 자이로스코프 데이터가 경량 모델의 성능을 향상시키면서도 계산 비용을 증가시키지 않는지 평가하는 것.
• 클라우드 처리를 피하고 엣지 기반 추론을 통해 개인정보 보호 향상과 지연 감소를 달성하는 것.

제안 방법

• 시스템은 일상 활동 중 손목에 착용된 스마트워치에서 수집한 관성 신호(가속도계 및 자이로스코프)를 사용한다.
• 원시 센서 데이터는 고정 길이 윈도우로 분할되고, z-스코어 정규화와 주성분 분석(PCA)을 통해 전처리된다.
• 사용된 머신러닝 모델은 지원 벡터 머신(SVM), 확장된 수용장역도 K-최근접 이웃(ERS-KNN), 장기 단기 기억(LSTM), 합성곱 신경망(CNN) 총 4종이다.
• 모델 일반화 능력을 평가하기 위해 5겹 교차검증 전략을 사용한다.
• 두 데이터셋—12명의 참가자가 포함된 임의로 구성한 데이터셋과 DLA 데이터셋—에서 모델을 평가하며, 자이로스코프 데이터 유무에 따라 비교한다.
• 정확도, 정밀도, 재현율, F1 점수 등의 표준 지표를 사용해 성능을 측정한다.

실험 결과

연구 질문

• RQ1 표준 및 딥러닝 모델이 상용 스마트워치에서 수집한 관성 신호를 바탕으로 비정형 세수 및 손소독을 정확하게 분류할 수 있는가?
• RQ2 자이로스코프 데이터 포함 여부가 경량 모델(SVM 및 ERS-KNN)의 분류 정확도에 어떤 영향을 미치는가?
• RQ3 SVM과 같은 엣지 기반 배포가 가능한 모델이 실시간, 디바이스 기반 처리를 위해 메모리와 추론 시간을 최소화하면서도 높은 정확도를 달성할 수 있는가?
• RQ4 개인별 및 교차 개인 분류 작업 간 모델 성능의 차이는 어떻게 나타나는가?
• RQ5 개인 간 차이와 비정형 운동 패턴이 기존 활동 인식 접근 방식에 얼마나 큰 도전이 되는가?

주요 결과

• 제안된 시스템은 임의로 구성한 데이터셋에서 딥러닝 모델(CNN 및 LSTM)을 사용할 경우 약 95%의 분류 정확도를 달성하였고, 표준 학습 모델(SVM 및 ERS-KNN)을 사용할 경우 94%의 정확도를 기록하였다.
• DLA 데이터셋에서는 가장 우수한 성능을 보인 ERS-KNN 모델이 95.9%의 정확도를 기록하였으며, SVM은 94.6%의 정확도를 기록하여 다양한 참가자와 조건에서도 뛰어난 안정성을 입증하였다.
• 자이로스코프 데이터의 포함이 표준 모델(SVM 및 ERS-KNN)의 성능을 크게 향상시켜, 계산 비용 증가 없이도 깊이 있는 모델 수준의 정확도를 달성할 수 있음을 확인하였다.
• SVM는 정확도, 낮은 메모리 사용량, 빠른 추론 시간의 최적의 조합을 보이며, 엣지 배포에 적합하고 클라우드 인프라 의존도를 감소시킬 수 있다.
• 혼동 행렬 분석 결과, 세수 활동의 오분류 원인은 주로 '기타' 활동으로 잘못 레이블링된 경우였으며, 이는 목표 동작에 대해 강력한 구분 능력을 지녔음을 시사한다.
• 개인별 분류 성능은 활동 분류 성능보다 높았으며, ERS-KNN는 95.9%의 정확도를 기록하여 이 맥락에서 개인의 운동 패턴은 활동 유형보다 더 명확하게 식별 가능하다는 것을 시사한다.