[論文レビュー] Robust Neonatal Face Detection in Real-world Clinical Settings

Jacqueline Hausmann, Md Sirajus Salekin+3 more|arXiv (Cornell University)|Apr 1, 2022

Face recognition and analysis被引用数 5

ひとこと要約

この論文では、挑戦的なNICU環境における耐障害性・ほぼリアルタイムの新生児顔検出を実現する、微調整されたYOLOv5モデルを提案する。独自の臨床データセット（58名の新生児）で訓練されたモデルは、7.37%のオフザシェルフソリューションよりも顕著に優れた68.7%の精度を達成し、痛み認識などの自動化臨床システムの実現可能性を示している。

ABSTRACT

Current face detection algorithms are extremely generalized and can obtain decent accuracy when detecting the adult faces. These approaches are insufficient when handling outlier cases, for example when trying to detect the face of a neonate infant whose face composition and expressions are relatively different than that of the adult. It is furthermore difficult when applied to detect faces in a complicated setting such as the Neonate Intensive Care Unit. By training a state-of-the-art face detection model, You-Only-Look-Once, on a proprietary dataset containing labelled neonate faces in a clinical setting, this work achieves near real time neonate face detection. Our preliminary findings show an accuracy of 68.7%, compared to the off the shelf solution which detected neonate faces with an accuracy of 7.37%. Although further experiments are needed to validate our model, our results are promising and prove the feasibility of detecting neonatal faces in challenging real-world settings. The robust and real-time detection of neonatal faces would benefit wide range of automated systems (e.g., pain recognition and surveillance) who currently suffer from the time and effort due to the necessity of manual annotations. To benefit the research community, we make our trained weights publicly available at github(https://github.com/ja05haus/trained_neonate_face).

研究の動機と目的

• 新生児の顔特徴と環境ノイズのため、現実のNICU環境で正確な新生児顔検出が困難であるという課題に対処する。
• 未熟な顔の構造とポーズの変化のため、オフザシェルフ顔検出器が新生児に対して失敗するという限界を克服する。
• 新生児臨床応用（例：痛み評価）に特化した耐障害性・リアルタイム顔検出システムを開発する。
• 顔検出の自動化により、マルチモodal新生児研究における時間のかかる手動アノテーションへの依存を低減する。

提案手法

• 実際のNICU環境で収集した新生児ビデオフレームの独自データセットでYOLOv5（You Only Look Once）を微調整した。
• 58名の新生児を含むUSF-MNPAD-Iデータセット（302枚のアノテート済み学習画像、2,814枚のテスト画像）を用いた。
• NICUのシーンで一般的な低照度、ごみだらけの背景、被覆を処理するためにデータ拡張および前処理を適用した。
• 臨床的ストレス状態下での検出性向上を目的に、手術プロトコルに伴う痛みシナリオでモデルを訓練した。
• 平均平均精度とフレームレート（平均4 fps）といった標準指標を用いて性能を評価した。
• 再現可能性とコミュニティ再利用を支援するため、訓練済み重みを公開した。

実験結果

リサーチクエスチョン

• RQ1 YOLOv5のような最先端のオブジェクト検出モデルは、現実のNICU環境における新生児顔検出に効果的に微調整可能か？
• RQ2 新生児に特化したデータセットでの微調整は、オフザシェルフモデルと比較して検出精度をどのように向上させるか？
• RQ3 提案されたモデルは臨床的関連性のある環境で、リアルタイム推論性能をどのように達成するか？
• RQ4 被覆、照明、背景のごみといった環境要因が、検出の耐障害性にどの程度影響を与えるか？

主な発見

• 微調整されたYOLOv5モデルは、NICUの2,814枚の新生児画像から成るテストセットで68.7%の検出精度を達成した。
• オフザシェルフYOLOv5は新生児顔をたった7.37%の精度で検出できたため、ドメイン特化型の微調整の必要性が浮き彫りになった。
• モデルは平均4 fpsの推論速度を達成し、一部のケースでは8 fpsに達した。これはほぼリアルタイム性能を示している。
• 電線や酸素マスクに覆われた場合でも、モデルはタイトなバウンディングボックス内で新生児顔を正しく局所化できた。
• 可視化比較では、微調整済みモデルが新生児顔を正しく同定している一方、未訓練モデルは「いす」や「リモコン」などの非顔オブジェクトを検出する傾向にあった。
• 結果から、臨床環境における信頼性の高い新生児顔検出にはドメイン特化型微調整が不可欠であることが示された。