[論文レビュー] Fully Automated Hand Hygiene Monitoring\\in Operating Room using 3D Convolutional Neural Network

Minjee Kim, Joonmyeong Choi+1 more|arXiv (Cornell University)|Mar 20, 2020

Pressure Ulcer Prevention and Management参考文献 14被引用数 5

ひとこと要約

本稿では、3次元畳み込みニューラルネットワーク（3D CNN）を用いて、リアルタイムでアルコールベースの手洗いを検出することにより、手術室における完全自動化された手洗いモニタリングシステムを提案する。Kinetics-400からの転移学習を活用し、時間的平滑化を施した上半身の動画クリップに対して空間的・時間的特徴抽出を実行することで、小規模で複雑な手術動画データセットにおいて、76%の正確性、85%の正確性、65%の再現率、74%のF1スコアを達成し、光学フローに基づく手法を上回る性能を発揮した。

ABSTRACT

Hand hygiene is one of the most significant factors in preventing hospital acquired infections (HAI) which often be transmitted by medical staffs in contact with patients in the operating room (OR). Hand hygiene monitoring could be important to investigate and reduce the outbreak of infections within the OR. However, an effective monitoring tool for hand hygiene compliance is difficult to develop due to the visual complexity of the OR scene. Recent progress in video understanding with convolutional neural net (CNN) has increased the application of recognition and detection of human actions. Leveraging this progress, we proposed a fully automated hand hygiene monitoring tool of the alcohol-based hand rubbing action of anesthesiologists on OR video using spatio-temporal features with 3D CNN. First, the region of interest (ROI) of anesthesiologists' upper body were detected and cropped. A temporal smoothing filter was applied to the ROIs. Then, the ROIs were given to a 3D CNN and classified into two classes: rubbing hands or other actions. We observed that a transfer learning from Kinetics-400 is beneficial and the optical flow stream was not helpful in our dataset. The final accuracy, precision, recall and F1 score in testing is 0.76, 0.85, 0.65 and 0.74, respectively.

研究の動機と目的

• 手術室における医療スタッフの手洗い遵守率の低さが病院獲得感染（HAIs）に寄与しているという、長年の課題に対処すること。
• 手動観察の限界（観察者のバイアスや高コスト）を克服する、完全自動化可能でスケーラブルなソリューションを開発すること。
• 複雑で動的な手術室環境でも、動画からの空間的・時間的特徴を用いて、手洗い動作の正確な検出を可能にすること。
• 小規模な手の動作認識において、RGBと光学フローのストリームの有効性を比較すること、特に手術環境における有効性を評価すること。
• 合成データ、転移学習、データ拡張の有効性を検証し、限られた実世界の手術動画データに対して性能を向上させること。

提案手法

• 2段階のアプローチ：まず、手術室の動画から麻酔担当医の上半身領域（ROI）をポーズ推定により検出し、切り出す。
• ROIsの時系列にわたる一貫性を高めるために、時間的平滑化を適用する。
• 400種類の人体動作を含むKinetics-400データセットからの転移学習を活用し、3Dインフレートド畳み込みニューラルネットワーク（I3D）をRGB動画クリップで学習する。
• バイナリ分類用に、1x1x1畳み込み層とシグモイド出力層を用いて、微調整を行う。分類タスクは「手洗い」対「その他の動作」。
• 訓練データセットの拡張のために、非医療従事者が実際の手術室で手洗いを模倣する様子を記録して合成データを生成する。
• 光学フローストリームも評価したが、OpenCVのTV-L1アルゴリズムで計算されたが、このデータセットでは効果が薄いことが判明した。

実験結果

リサーチクエスチョン

• RQ1 RGB動画と転移学習のみを用いて、3D CNNベースのシステムが、手術室の動画からリアルタイムで手洗い動作を正確に検出できるか？
• RQ2 光学フローモダリティの導入が、手術環境における小規模な手の動作認識において分類性能を向上させるか？
• RQ3 合成データ拡張と時間的平滑化は、限られた実世界の手術動画データセットにおけるモデルの一般化性能を向上させるのにどの程度効果的か？
• RQ4 大規模な動作認識データセット（Kinetics-400）からの転移学習は、小規模でドメイン特化された手術動作検出タスクにおいて、性能をどの程度向上させるか？
• RQ5 この文脈において、RGBオンリーモデルの性能指標（正確性、正確性、再現率、F1）は、光学フローおよびRGB+フロー統合モデルと比べてどの程度異なるか？

主な発見

• RGBオンリーモデルのI3Dが、テストセットで最高の性能を示し、76%の正確性、85%の正確性、65%の再現率、74%のF1スコアを達成した。
• 光学フロー単体では、正確性は1.00であったが、再現率はたったの22%であり、実際の手洗い動作の多くを検出できなかった。
• RGB+フロー統合モデルは、RGBオンリーモデルより性能が劣り、正確性が15%低下し、F1スコアが31%低下した。これは、このデータセットでは光学フローが有害であったことを示している。
• Kinetics-400からの転移学習は、小規模な手術動画データセットにおいて顕著に性能を向上させ、リソースが限られた動作認識タスクにおける価値を示した。
• 身体のキーポintsを用いた合成データとデータ拡張の活用により、データ不足を緩和し、モデルの頑健性が向上した。
• 本研究では、複雑で多人数が関与する手術シーンにおいて、微妙で小規模な手の動きを検出する際、光学フローが大規模な動作認識データセットと比較して、有効性が低いことが明らかになった。