[논문 리뷰] Robust Neonatal Face Detection in Real-world Clinical Settings

Jacqueline Hausmann, Md Sirajus Salekin외 3명|arXiv (Cornell University)|2022. 04. 01.

Face recognition and analysis인용 수 5

한 줄 요약

이 논문은 고통스러운 환경이 많은 NICU에서 신생아 얼굴 감지를 위한 정교하게 캘리브레이션된 YOLOv5 모델을 제안한다. 58명의 신생아로 구성된 기밀 임상 데이터셋으로 훈련된 모델은 68.7%의 정확도를 달성하였으며, 이는 표준 제품 솔루션(7.37%)보다 유의미하게 뛰어나며, 통증 인식과 같은 자동화된 임상 시스템의 실현 가능성을 입증한다.

ABSTRACT

Current face detection algorithms are extremely generalized and can obtain decent accuracy when detecting the adult faces. These approaches are insufficient when handling outlier cases, for example when trying to detect the face of a neonate infant whose face composition and expressions are relatively different than that of the adult. It is furthermore difficult when applied to detect faces in a complicated setting such as the Neonate Intensive Care Unit. By training a state-of-the-art face detection model, You-Only-Look-Once, on a proprietary dataset containing labelled neonate faces in a clinical setting, this work achieves near real time neonate face detection. Our preliminary findings show an accuracy of 68.7%, compared to the off the shelf solution which detected neonate faces with an accuracy of 7.37%. Although further experiments are needed to validate our model, our results are promising and prove the feasibility of detecting neonatal faces in challenging real-world settings. The robust and real-time detection of neonatal faces would benefit wide range of automated systems (e.g., pain recognition and surveillance) who currently suffer from the time and effort due to the necessity of manual annotations. To benefit the research community, we make our trained weights publicly available at github(https://github.com/ja05haus/trained_neonate_face).

연구 동기 및 목표

• 특유의 얼굴 특징과 환경적 노이즈로 인해 실제 NICU 환경에서 정확한 신생아 얼굴 감지가 부족한 문제를 해결한다.
• 미성숙한 얼굴 구조와 자세 변화로 인해 표준 제품 솔루션의 얼굴 감지기가 신생아에서 실패하는 한계를 극복한다.
• 신생아 임상 적용(예: 통증 평가 등)에 특화된 내구성 있고 실시간 얼굴 감지 시스템을 개발한다.
• 다중 모odal 신생아 연구에서 시간이 많이 소요되는 수작업 주석에 의존도를 줄이기 위해 얼굴 감지 자동화를 실현한다.

제안 방법

• 실제 NICU 환경에서 수집한 신생아 영상 프레임의 기밀 데이터셋에 기반해 YOLOv5(You Only Look Once)를 정교하게 캘리브레이션하였다.
• 58명의 신생아를 포함하는 USF-MNPAD-I 데이터셋을 사용하였으며, 훈련용으로 302장, 테스트용으로 2,814장의 주석이 부여된 이미지가 포함되어 있다.
• 낮은 조도, 혼잡한 배경, 가림 현상 등이 흔한 NICU 환경에서의 문제를 해결하기 위해 데이터 증강 및 전처리를 적용하였다.
• 임상적 스트레스 상황에서의 감지를 향상시키기 위해 수술 과정에서의 통증 상황을 기반으로 모델을 훈련시켰다.
• 표준 평가 지표를 사용해 성능을 평가하였으며, 평균 정밀도 및 프레임 속도(평균 4 fps)를 포함한다.
• 재현 가능성을 높이고 커뮤니티의 재사용을 지원하기 위해 훈련된 가중치를 공개하였다.

실험 결과

연구 질문

• RQ1 최신 기술의 객체 감지 모델인 YOLOv5가 실제 NICU 조건에서 신생아 얼굴 감지를 효과적으로 정교하게 캘리브레이션할 수 있는가?
• RQ2 신생아 전용 데이터셋에 대해 정교하게 캘리브레이션한 결과, 표준 제품 솔루션 대비 감지 정확도가 얼마나 향상되는가?
• RQ3 제안된 모델은 임상적으로 관련성이 있는 환경에서 실시간 추론 성능을 얼마나 확보하는가?
• RQ4 가림, 조도, 배경 혼잡도 등의 환경적 요인이 감지의 내구성에 얼마나 큰 영향을 미치는가?

주요 결과

• 정교하게 캘리브레이션된 YOLOv5 모델은 NICU에서 수집한 2,814장의 신생아 이미지 테스트 세트에서 68.7%의 감지 정확도를 달성하였다.
• 표준 제품 YOLOv5는 신생아 얼굴을 오직 7.37%의 정확도로 감지하였으며, 이는 도메인 특화 정교 캘리브레이션의 필요성을 강력히 시사한다.
• 모델은 평균 4 fps의 추론 속도를 기록하였으며, 일부 경우 8 fps에 도달하여 거의 실시간 성능을 확보하였다.
• 와이어나 산소 마스크로 가려져 있어도, 좁은 경계 상자 내에서 신생아 얼굴을 성공적으로 국소화하였다.
• 시각적 비교 결과, 정교하게 캘리브레이션된 모델은 신생아 얼굴을 정확히 식별한 반면, 미정교하게 캘리브레이션된 모델은 종종 "의자" 또는 "리모컨"과 같은 비얼굴 객체를 감지하였다.
• 결과적으로, 임상 환경에서 신뢰할 수 있는 신생아 얼굴 감지를 위해서는 도메인 특화 정교 캘리브레이션이 필수적임을 입증하였다.