[논문 리뷰] Fully Automated Hand Hygiene Monitoring\\in Operating Room using 3D Convolutional Neural Network

Minjee Kim, Joonmyeong Choi외 1명|arXiv (Cornell University)|2020. 03. 20.

Pressure Ulcer Prevention and Management참고 문헌 14인용 수 5

한 줄 요약

이 논문은 3D 컨volution 신경망(3D CNN)을 사용하여 수술실에서 알코올 기반 손 소독을 실시간으로 감지함으로써 완전 자동화된 손 위생 모니터링 시스템을 제안한다. Kinetics-400에서의 전이 학습을 활용하고, 시간적 평활화를 적용한 캐롭된 상부 신체 영상 클립에서 공간-시간 특징을 추출함으로써, 이 방법은 이 작은 규모이자 복잡한 수술 영상 데이터셋에서 손소독 행동을 분류할 때 76%의 정확도, 85%의 정밀도, 65%의 재현율, 74%의 F1 스코어를 달성하며, 광학 흐름 기반 접근법보다 뛰어난 성능을 보였다.

ABSTRACT

Hand hygiene is one of the most significant factors in preventing hospital acquired infections (HAI) which often be transmitted by medical staffs in contact with patients in the operating room (OR). Hand hygiene monitoring could be important to investigate and reduce the outbreak of infections within the OR. However, an effective monitoring tool for hand hygiene compliance is difficult to develop due to the visual complexity of the OR scene. Recent progress in video understanding with convolutional neural net (CNN) has increased the application of recognition and detection of human actions. Leveraging this progress, we proposed a fully automated hand hygiene monitoring tool of the alcohol-based hand rubbing action of anesthesiologists on OR video using spatio-temporal features with 3D CNN. First, the region of interest (ROI) of anesthesiologists' upper body were detected and cropped. A temporal smoothing filter was applied to the ROIs. Then, the ROIs were given to a 3D CNN and classified into two classes: rubbing hands or other actions. We observed that a transfer learning from Kinetics-400 is beneficial and the optical flow stream was not helpful in our dataset. The final accuracy, precision, recall and F1 score in testing is 0.76, 0.85, 0.65 and 0.74, respectively.

연구 동기 및 목표

• 수술실에서 의료진의 손 위생 준수율이 낮아 병원 내 감염(HAI)을 유발하는 지속적인 문제를 해결하기 위해.
• 수동 관찰의 한계(관찰자 편향 및 높은 노동 비용 등)를 극복할 수 있는 완전 자동화되고 확장 가능한 솔루션을 개발하기 위해.
• 복잡하고 다이나믹한 수술실 환경에서도 영상의 시공간적 특징을 활용해 손소독 행동을 정확하게 탐지할 수 있도록 하기 위해.
• 소규모 수준의 수술 행동 인식에서 RGB와 광학 흐름 스트림의 성능을 평가하기 위해.
• 합성 데이터, 전이 학습, 데이터 증강 기법이 제한된 실제 수술 영상 데이터에서의 성능 향상에 얼마나 기여하는지 탐색하기 위해.

제안 방법

• 두 단계 접근법: 첫째, 자세 추정을 통해 수술 영상에서 Anesthesiologist의 상부 신체 영역(관심 영역, ROI)을 검출하고 자르기.
• ROIs의 시퀀스에 시간 평활화를 적용하여 노이즈를 줄이고 시간적 일관성을 향상시킴.
• RGB 영상 클립을 사용하여 Kinetics-400 데이터셋에서 전이 학습을 수행한 3D 팽창 컨volution 신경망(I3D)을 훈련함. Kinetics-400은 '손 씻기'를 포함한 400개의 인간 행동 카테고리로 구성되어 있음.
• 이진 분류를 위해 1x1x1 컨볼루션과 시그모이드 출력층을 사용하여 모델을 미세 조정함: '손소독' 대 '기타 행동'.
• 훈련 세트를 보완하기 위해 실제 수술실 환경에서 비의료 종사원이 손 위생 행동을 시뮬레이션하여 합성 데이터를 생성함.
• 광학 흐름 스트림도 평가되었으며, OpenCV의 TV-L1 알고리즘을 통해 계산되었지만, 이 데이터셋에선 성능이 떨어지는 것으로 나타남.

실험 결과

연구 질문

• RQ1 RGB 영상과 전이 학습만을 사용하여 3D CNN 기반 시스템이 실시간으로 수술 영상에서 손소독 행동을 정확하게 감지할 수 있는가?
• RQ2 광학 흐름 모odal이 소규모 수준의 수술 환경 내 수술 행동 인식에서 분류 성능을 향상시키는가?
• RQ3 합성 데이터 증강과 시간 평활화가 제한된 실제 수술 영상 데이터셋에서 모델의 일반화 능력을 향상시키는 데 얼마나 효과적인가?
• RQ4 대규모 행동 인식 데이터셋(Kinetics-400)에서의 전이 학습이 소규모 전문 분야 수술 행동 탐지 작업에서 성능을 향상시키는 데 얼마나 기여하는가?
• RQ5 이 맥락에서 RGB 전용 모델의 성능 지표(정확도, 정밀도, 재현율, F1)가 광학 흐름 모델 및 RGB+흐름 융합 모델과 비교해 얼마나 뛰어나게 나타나는가?

주요 결과

• RGB 전용 I3D 모델이 테스트 세트에서 가장 높은 성능을 보이며, 정확도 76%, 정밀도 85%, 재현율 65%, F1 스코어 74%를 기록함.
• 광학 흐름 스트림 전용 모델은 정밀도는 1.00이지만 재현율은 22%에 불과하여 대부분의 실제 손소독 행동을 탐지하지 못함.
• RGB+흐름 융합 모델은 RGB 전용 모델보다 성능이 떨어졌으며, 정확도는 15%p 감소하고 F1 스코어는 31%p 감소하여, 이 데이터셋에선 광학 흐름이 해로운 영향을 미침.
• Kinetics-400에서의 전이 학습이 소규모 수술 영상 데이터셋에서 성능을 크게 향상시켜, 자원이 제한된 행동 인식 작업에 있어 그 가치를 입증함.
• 신체 관절 키포인트 기반 데이터 증강과 합성 데이터의 사용이 데이터 부족 문제를 완화하고 모델의 강건성을 향상시켰음.
• 본 연구는 복잡하고 다수의 인원이 참여하는 수술 환경에서 미세하고 소규모의 손 움직임을 감지할 때, 광학 흐름이 대규모 행동 인식 데이터셋에 비해 성능이 열 劣함을 드러냄.