[논문 리뷰] iWash: A Smartwatch Handwashing Quality Assessment and Reminder System with Real-time Feedback in the Context of Infectious Disease

Sirat Samyoun, Sudipta Saha Shubha외 2명|arXiv (Cornell University)|2020. 09. 22.

Infection Control in Healthcare참고 문헌 38인용 수 34

한 줄 요약

iWash는 스마트워치 기반의 시스템으로, 자원 제약이 있는 스마트워치에서 실행 가능한 하이브리드 딥 러닝을 사용하여 실시간으로 손 씻기 품질을 평가한다. 기존 최고 수준의 방법보다 정확도가 약 12% 높고, 처리 시간은 37% 감소하고 배터리 소모는 10% 감소한다. 집에 들어올 때 맥락 인식 알림을 제공하며, 터치 없는 음성 피드백을 통해 감염병 상황에서 개인정보 보호와 사용성을 확보한다.

ABSTRACT

Washing hands properly and frequently is the simplest and most cost-effective interventions to prevent the spread of infectious diseases. People are often ignorant about proper handwashing in different situations and do not know if they wash hands properly. Smartwatches are found to be effective for assessing the quality of handwashing. However, the existing smartwatch based systems are not comprehensive enough in terms of achieving accuracy as well as reminding people to handwash and providing feedback to the user about the quality of handwashing. On-device processing is often required to provide real-time feedback to the user, and so it is important to develop a system that runs efficiently on low-resource devices like smartwatches. However, none of the existing systems for handwashing quality assessment are optimized for on-device processing. We present iWash, a comprehensive system for quality assessment and context-aware reminder for handwashing with real-time feedback using smartwatches. iWash is a hybrid deep neural network based system that is optimized for on-device processing to ensure high accuracy with minimal processing time and battery usage. Additionally, it is a context-aware system that detects when the user is entering home using a Bluetooth beacon and provides reminders to wash hands. iWash also offers touch-free interaction between the user and the smartwatch that minimizes the risk of germ transmission. We collected a real-life dataset and conducted extensive evaluations to demonstrate the performance of iWash. Compared to the existing handwashing quality assessment systems, we achieve around 12% higher accuracy for quality assessment, as well as we reduce the processing time and battery usage by around 37% and 10%, respectively.

연구 동기 및 목표

• 스마트워치에서 종합적이고 실시간으로 손 씻기 품질을 평가하고 피드백을 제공할 수 있는 시스템이 부족한 점을 해결하기 위해.
• 클라우드 기반 시스템의 의존도를 줄이기 위해 저지연과 개인정보 보호를 향상시키기 위해 현장에서 처리할 수 있는 기능을 제공하기 위해.
• 높은 정확도를 유지하면서 배터리 소모와 처리 시간을 줄이기 위해.
• 감염병 예방에 핵심적인 역할을 하는 집에 들어올 때와 같은 맥락적으로 관련된 순간에 사용자에게 손 씻기 알림을 제공하기 위해.
• 감염병 환경에서 병원균 전파 위험을 줄이기 위해 터치 없는 상호작용을 음성 피드백을 통해 구현하기 위해.

제안 방법

• iWash는 자원 제약이 있는 스마트워치에서 실행 가능한 최적화된 하이브리드 딥 네트워크 아키텍처를 사용한다.
• 단일 손목에 착용된 스마트워치의 가속도계 및 자이로스코프 데이터를 활용하여 손 씻기 동작과 단계를 탐지한다.
• 두 단계 분류 모델을 구현한다: 첫 번째로 손 씻기 시작 여부를 식별하고, 두 번째로 WHO 지침에 따라 단계별 준수 여부를 평가한다.
• 모델 정밀도 및 압축을 통해 모델 크기와 계산 부담을 줄여 효율적인 현장에서의 추론을 가능하게 한다.
• 집 입구에 배치된 블루투스 비콘에 가까워질 경우 스마트워치가 이를 감지하고 맥락 인식 알림을 트리거한다.
• 음성 합성 기반 피드백을 통해 터치 없는 상호작용을 제공하여 오염 위험을 방지한다.

실험 결과

연구 질문

• RQ1 스마트워치 기반 시스템이 오직 현장에서 처리만을 사용하여 고정확도의 실시간 손 씻기 품질 평가를 달성할 수 있는가?
• RQ2 사용자가 집에 들어올 때와 같이 맥락적으로 관련된 순간에 손 씻기 알림을 효과적으로 제공할 수 있는가?
• RQ3 현장에서의 손 씻기 평가 시스템에서 정확도, 처리 시간, 배터리 소모 간의 상호 상충 관계는 어떻게 되는가?
• RQ4 터치 없는 음성 피드백이 스마트워치 시스템에 효과적으로 통합될 수 있는가?
• RQ5 기존의 클라우드 기반 또는 영상 기반 접근 방식과 비교할 때, 실생활 환경에서 시스템의 성능은 어떠한가?

주요 결과

• iWash는 기존 최고 수준의 시스템 대비 손 씻기 품질 평가 정확도가 약 12% 높다.
• 기존 시스템 대비 처리 시간이 약 37% 감소하여 더 빠른 실시간 피드백을 가능하게 한다.
• 배터리 소모가 약 10% 감소하여 하루 종일 사용이 가능하다.
• 시스템은 네트워크 연결 없이도 손 씻기 이벤트를 탐지하고 실시간 음성 피드백을 제공한다.
• 실생활 환경에서도 뛰어난 성능을 보이며, 단일 손목에 착용된 장치에서의 데이터를 사용해도 높은 정확도를 유지한다.
• 현장에서 처리하는 아키텍처 덕분에 사용자 데이터가 외부 서버로 전송되지 않아 개인정보 보호가 보장된다.