[논문 리뷰] FaceOff: Detecting Face Touching with a Wrist-Worn Accelerometer

Xiang Chen|arXiv (Cornell University)|2020. 08. 04.

Tactile and Sensory Interactions참고 문헌 17인용 수 7

한 줄 요약

FaceOff는 손을 들어 올리는 동작의 고유한 운동 패턴을 이용해 손목에 착용된 가속도계를 통해 얼굴 만지기 행동을 탐지하는 시스템을 제안한다. 1.5초 간격의 슬라이딩 윈도우에서 시간에 따라 데이터를 통합한 랜덤 포레스트 분류기들을 활용하여, 참가자 3명을 대상으로 한 초도 연구에서 89회의 얼굴 만지기 행동 중 92%를 탐지하고, 0.59%의 가짜 양성률을 기록하였다.

ABSTRACT

According to the CDC, one key step of preventing oneself from contracting coronavirus (COVID-19) is to avoid touching eyes, nose, and mouth with unwashed hands. However, touching one's face is a frequent and spontaneous behavior---one study observed subjects touching their faces on average 23 times per hour. Creative solutions have emerged amongst some recent commercial and hobbyists' projects, yet most either are closed-source or lack validation in performance. We develop FaceOff---a sensing technique using a commodity wrist-worn accelerometer to detect face-touching behavior based on the specific motion pattern of raising one's hand towards the face. We report a survey (N=20) that elicits different ways people touch their faces, an algorithm that temporally ensembles data-driven models to recognize when a face touching behavior occurs and results from a preliminary user testing (N=3 for a total of about 90 minutes).

연구 동기 및 목표

• SARS-CoV-2와 같은 병원체의 주요 전파 경로인 얼굴 만지기 행동을 줄이기 위해 얼굴 쪽으로 손을 움직이는 행동을 탐지하는 데 목적이 있다.
• 특수 하드웨어나 신체에 부착된 센서가 필요 없이 일반적인 손목에 착용하는 가속도계를 사용해 얼굴 만지기 행동을 탐지할 수 있는지 탐색하는 데 목적이 있다.
• 향후 비침습적 얼굴 만지기 탐지 연구를 위한 체계적인 데이터 수집, 학습 및 테스트 프로토콜을 개발하는 데 목적이 있다.
• 실제 접촉 여부가 확인되지 않더라도 黏막성 및 비黏막성 얼굴 만지기 행동을 모두 탐지하여 행동 인식을 촉진하는 데 목적이 있다.

제안 방법

• 손을 얼굴 쪽으로 움직일 때의 관성 데이터를 손목에 착용한 가속도계로 캡처한다.
• 실시간 운동 패턴을 처리하기 위해 1.5초 간격, 83.33% 겹침(초당 4프레임)의 슬라이딩 윈도우 접근법을 사용한다.
• 시간에 따라 데이터 기반 랜덤 포레스트 분류기들을 통합하여 시간 윈도우 전역에서 탐지 정확도를 향상시킨다.
• 동기화된 진동 터치 프롬프트와 가속도계 데이터의 수동 애너테이션을 기반으로 얼굴 만지기 행동을 레이블링한다.
• 모델 학습에 한 명의 사용자 데이터를 사용하고, 제어된 환경에서 3명의 추가 참가자에게 테스트를 수행한다.
• 탐지 속도와 정확도를 평가하기 위해 전체 윈도우(1.5초) 및 조기 투표(최소 1.3초) 전략을 모두 평가한다.

실험 결과

연구 질문

• RQ1 일반적인 손목에 착용하는 가속도계로 운동 패턴만으로 얼굴 만지기 행동을 신뢰성 있게 탐지할 수 있는가?
• RQ2 가속도계 데이터를 이용해 랜덤 포레스트 분류기의 시간 통합이 얼굴 만지기 행동 탐지에 얼마나 효과적인가?
• RQ3 실시간 얼굴 만지기 탐지에서 조기 투표(early voting)의 탐지 속도와 정확도 사이의 상호 상충 관계는 어떠한가?
• RQ4 가짜 양성의 주요 원인은 무엇이며, 높은 탐지 민감도를 유지하면서 이를 완화할 수 있는가?
• RQ5 실제 접촉 여부가 확인되지 않더라도 이 시스템이 행동 인식을 얼마나 효과적으로 촉진할 수 있는가?

주요 결과

• 초도 연구에서 참가자 3명을 대상으로 89회의 얼굴 만지기 행동 중 82회(92% 재현율)를 탐지하여 강력한 탐지 능력을 입증하였다.
• 낮은 가짜 양성률 0.59%를 기록하여, 유사하지만 얼굴 만지기 행동이 아닌 동작과의 구분에서 높은 특이도를 보였다.
• 대부분의 투표가 1.5초 윈도우의 1.3초 만에 형성되어 거의 실시간 반응이 가능했다.
• 최종 1.5초 데이터만을 사용한 경우 재현율이 약간 낮아(80/89) 시간 통합의 이점이 확인되었다.
• 가짜 양성은 주로 안경을 조정하거나 마시는 행동처럼 얼굴 만지기와 유사한 행동에서 기인했으며, 추가 센서 모달리티가 필요할 것으로 보였다.
• 결과적으로 손목에 착용하는 가속도계를 활용한 비침습적, 저비용의 얼굴 만지기 행동 탐지 시스템이 위생 인식 향상에 유용할 수 있음을 뒷받침한다.