[논문 리뷰] Feature Detection for Hand Hygiene Stages

Rashmi Bakshi, Jane Courtney외 2명|arXiv (Cornell University)|2021. 08. 06.

Hand Gesture Recognition Systems참고 문헌 8인용 수 4

한 줄 요약

이 논문은 수작업으로 제작한 알루미늄 랙 데이터셋을 기반으로 특징 검출 알고리즘을 사용하여 손위생 단계를 감지하기 위한 컴퓨터 비전 파이프라인을 제안한다. 정적 이미지에서 '손바닥을 마주대고 문지르기' 단계에 대해 Harris, Shi-Tomasi, SIFT 검출기의 성능을 평가하여, 향후 WHO가 권장하는 손 씻기 단계를 위한 영상 기반 딥러닝 분류의 가능성을 입증한다.

ABSTRACT

The process of hand washing involves complex hand movements. There are six principal sequential steps for washing hands as per the World Health Organisation (WHO) guidelines. In this work, a detailed description of an aluminium rig construction for creating a robust hand-washing dataset is discussed. The preliminary results with the help of image processing and computer vision algorithms for hand pose extraction and feature detection such as Harris detector, Shi-Tomasi and SIFT are demonstrated. The hand hygiene pose- Rub hands palm to palm was captured as an input image for running all the experiments. The future work will focus upon processing the video recordings of hand movements captured and applying deep-learning solutions for the classification of hand-hygiene stages.

연구 동기 및 목표

• 수작업으로 제작한 알루미늄 랙을 사용하여 손위생 단계 인식을 위한 견고하고 재현 가능한 데이터셋을 구축하기 위해.
• 정적 이미지에서 손위생 자세를 대상으로 전통적인 컴퓨터 비전 특징 검출기(Harris, Shi-Tomasi, SIFT)의 성능을 평가하기 위해.
• 딥러닝 기반 영상 기반 분류를 통한 WHO 손 씻기 단계 분류의 기초를 마련하기 위해.
• 복잡한 손 움직임 분석을 위한 정밀한 손 자세 추출 및 특징 국소화를 가능하게 하기 위해.
• 자동화된 손위생 준수 모니터링을 통해 감염 관리에 기여하기 위해.

제안 방법

• 손 위치와 조명을 표준화하기 위해 校정된 알루미늄 랙을 제작하여 일관된 이미지 촬영을 가능하게 하였다.
• 손 씻기의 '손바닥을 마주대고 문지르기' 단계를 묘사한 정적 이미지 데이터셋을 수집하였다.
• 핵심 손 특징을 식별하기 위해 Harris 코너 검출기, Shi-Tomasi 코너 검출기, SIFT 특징 검출 알고리즘을 적용하였다.
• 이미지 처리 기법을 사용하여 입력 이미지의 손 영역에서 주목할 만한 특징을 추출하고 국소화하였다.
• 알고리즘의 타당성을 평가하기 위해 단일이고 명확히 정의된 손위생 자세에서 검출 성능을 평가하였다.
• 딥러닝 모델을 활용한 영상 시퀀스로의 접근 확장을 위한 기반을 마련하였다.

실험 결과

연구 질문

• RQ1 전통적인 특징 검출 알고리즘(Harris, Shi-Tomasi, SIFT)이 특정 손위생 단계에서 핵심 손 특징을 식별하는 데 얼마나 효과적인가?
• RQ2 제어된 물리적 랙 설정이 손위생 단계 인식을 위한 신뢰성 있고 반복 가능한 데이터셋을 생성할 수 있는가?
• RQ3 정적 이미지 분석이 영상 기반 분류 시스템 개발에 어느 정도 기여할 수 있는가?
• RQ4 전통적인 컴퓨터 비전 방법은 손 씻기 동작의 동적 특성을 얼마나 잘 포착할 수 있는가?
• RQ5 특징 검출을 어떻게 활용하여 WHO가 권장하는 손위생 단계의 자동 모니터링을 실현할 수 있는가?

주요 결과

• 알루미늄 랙 덕분에 제어된 조건에서 일관되고 반복 가능한 이미지 촬영이 가능하여 신뢰할 수 있는 데이터셋 구축에 기여하였다.
• Harris, Shi-Tomasi, SIFT 검출기가 '손바닥을 마주대고 문지르기' 자세에서 주목할 만한 특징을 성공적으로 식별하였다.
• 초기 결과는 전통적인 특징 검출이 손위생 단계 분석에 실현 가능함을 입증하였다.
• 이 연구는 이러한 알고리즘을 사용한 정적 이미지 분석이 향후 영상 기반 딥러닝 접근법의 강력한 기초가 될 수 있음을 확인하였다.
• 데이터셋과 방법론은 WHO가 권장하는 손 씻기 단계 전체 시퀀스의 분류 기초를 제공한다.
• 향후 연구에서는 영상 시퀀스로의 접근을 확장하고 딥러닝을 활용하여 분류 정확도를 향상시킬 것이다.