[論文レビュー] NurViD: A Large Expert-Level Video Database for Nursing Procedure Activity Understanding

Ming Hu, Lin Wang+8 more|arXiv (Cornell University)|Oct 20, 2023

Nursing Diagnosis and Documentation被引用数 4

ひとこと要約

NurViD は、実臨床環境から収集された 1,538 本の未加工動画（144 時間）を含む大規模で専門家がアノテートした動画データセットであり、51 種類の看護手順と 177 個のアクションステップをカバーしています。このデータセットは、手順認識、アクション分類、アクション検出のための高度なディープラーニングベンチマークを可能にし、看護行動理解における長尾分布の問題が、最先端モデルでさえ依然として課題であることを明らかにしました。

ABSTRACT

The application of deep learning to nursing procedure activity understanding has the potential to greatly enhance the quality and safety of nurse-patient interactions. By utilizing the technique, we can facilitate training and education, improve quality control, and enable operational compliance monitoring. However, the development of automatic recognition systems in this field is currently hindered by the scarcity of appropriately labeled datasets. The existing video datasets pose several limitations: 1) these datasets are small-scale in size to support comprehensive investigations of nursing activity; 2) they primarily focus on single procedures, lacking expert-level annotations for various nursing procedures and action steps; and 3) they lack temporally localized annotations, which prevents the effective localization of targeted actions within longer video sequences. To mitigate these limitations, we propose NurViD, a large video dataset with expert-level annotation for nursing procedure activity understanding. NurViD consists of over 1.5k videos totaling 144 hours, making it approximately four times longer than the existing largest nursing activity datasets. Notably, it encompasses 51 distinct nursing procedures and 177 action steps, providing a much more comprehensive coverage compared to existing datasets that primarily focus on limited procedures. To evaluate the efficacy of current deep learning methods on nursing activity understanding, we establish three benchmarks on NurViD: procedure recognition on untrimmed videos, procedure and action recognition on trimmed videos, and action detection. Our benchmark and code will be available at \url{https://github.com/minghu0830/NurViD-benchmark}.

研究の動機と目的

• 実臨床環境における看護手順行動理解のための大規模で専門家がアノテートした動画データセットの不足に対処すること。
• 従来のデータセットの限界、すなわち小規模さ、手順カバレッジの狭さ、短い動画クリップ、非専門家のアノテーションを克服すること。
• 国家看護教育ガイドラインに整合した包括的で標準化されたアノテーションを提供し、正確性と一貫性を確保すること。
• 未加工動画における手順認識、 trimmed 動画におけるアクション分類、アクション検出の多様なタスクにおけるディープラーニングモデルのベンチマークを可能にすること。
• 看護実践におけるリアルタイムの教育、品質管理、コンプライアンス監視のための AI システムの開発を支援すること。

提案手法

• 病院、診療所、介護施設を含む 10 か所以上の機関から、実臨床環境で 1,538 本の未加工動画（平均 32 秒）を収集した。
• 中華人民共和国保健委員会が発行した「新規採用看護師のトレーニングアウトライン」に従い、認定看護専門家による専門家レベルのラベルを全動画に付与した。
• 51 種類の明確に区別された看護手順と 177 個の詳細なアクションステップを定義し、包括的な手順的および時間的カバレッジを確保した。
• 3 つの評価ベンチマークを確立した：(1) 未加工動画における手順認識、(2) trimmed 動画における手順とアクションの同時認識、(3) 時間的局所化を伴うアクション検出。
• 長尾分布を反映するようにベンチマークを設計し、希少な看護行動における現実世界のデータ不足を再現した。
• GitHub を通じてすべてのデータとコードを公開し、再現可能性とコミュニティの進展を促進した。

Figure 1: The examples for the annotated target action boundaries for Intravenous Blood Sampling and Modified Seldinger Technique with Ultrasound for PICC Placement procedures. The frames marked in colored boxes denote the annotated temporal boundaries for the target action steps.

実験結果

リサーチクエスチョン

• RQ1 最先端のディープラーニングモデルは、未加工で現実世界の動画シーケンスから看護手順を高精度に認識できるか？
• RQ2 詳細なアクションレベルのアノテーションが利用可能な場合、モデルは手順とアクションステップの分類タスクでどの程度の性能を示すか？
• RQ3 アクション検出モデルは、長大な未加工動画ストリーム内での特定の看護行動をどの程度正確に時間的局所化できるか？
• RQ4 NurViD に見られるアクションステップの長尾分布は、モデルの一般化性能にどのような影響を与えるか？
• RQ5 提示された専門家がアノテートしたデータセットは、看護教育、訓練、コンプライアンス監視のための AI ツール開発の信頼できる基盤として機能できるか？

主な発見

• NurViD は、看護手順行動理解のための最大規模の専門家アノテート済み動画データセットであり、144 時間の動画を含む。これは、次に大きな看護データセットの約 4 倍の長さである。
• データセットは 51 種類の異なる看護手順と 177 個のアクションステップをカバーしており、従来のデータセットと比較して、手順的およびアクションレベルの多様性が著しく高い。
• 最先端のモデルを使用しても、長尾分布に起因する希少なアクションステップの認識性能は依然として困難であることが判明した。
• ベンチマークの結果から、現在のモデルは未加工動画における時間的局所化に苦戦していることが示され、より優れたアクション検出アーキテクチャの開発が求められている。
• 専門家レベルのアノテーションと国家看護ガイドラインへの整合性のおかげで、高い一貫性と臨床的妥当性が確保され、信頼できるモデルのトレーニングと評価を可能にした。
• データとコードの公開により、今後の研究が NurViD を基盤として、看護実践および患者安全分野における AI の発展を促進できるようになった。

Figure 2: The average, maximum, and minimum number of action segments for each procedure.