[论文解读] NurViD: A Large Expert-Level Video Database for Nursing Procedure Activity Understanding

Ming Hu, Lin Wang+8 more|arXiv (Cornell University)|Oct 20, 2023

Nursing Diagnosis and Documentation被引用 4

一句话总结

NurViD 是一个大规模、专家标注的视频数据集，包含来自真实临床环境的 1,538 段未剪辑视频（总计 144 小时），涵盖 51 种护理操作和 177 个动作步骤。该数据集支持针对操作识别、动作分类和动作检测的先进深度学习基准测试，揭示了当前最先进模型在护理活动理解中的长尾分布问题上仍存在显著挑战。

ABSTRACT

The application of deep learning to nursing procedure activity understanding has the potential to greatly enhance the quality and safety of nurse-patient interactions. By utilizing the technique, we can facilitate training and education, improve quality control, and enable operational compliance monitoring. However, the development of automatic recognition systems in this field is currently hindered by the scarcity of appropriately labeled datasets. The existing video datasets pose several limitations: 1) these datasets are small-scale in size to support comprehensive investigations of nursing activity; 2) they primarily focus on single procedures, lacking expert-level annotations for various nursing procedures and action steps; and 3) they lack temporally localized annotations, which prevents the effective localization of targeted actions within longer video sequences. To mitigate these limitations, we propose NurViD, a large video dataset with expert-level annotation for nursing procedure activity understanding. NurViD consists of over 1.5k videos totaling 144 hours, making it approximately four times longer than the existing largest nursing activity datasets. Notably, it encompasses 51 distinct nursing procedures and 177 action steps, providing a much more comprehensive coverage compared to existing datasets that primarily focus on limited procedures. To evaluate the efficacy of current deep learning methods on nursing activity understanding, we establish three benchmarks on NurViD: procedure recognition on untrimmed videos, procedure and action recognition on trimmed videos, and action detection. Our benchmark and code will be available at \url{https://github.com/minghu0830/NurViD-benchmark}.

研究动机与目标

• 解决真实临床环境中缺乏大规模、专家标注的护理操作活动理解视频数据集的问题。
• 克服现有数据集的局限性，包括规模小、操作覆盖范围窄、视频片段短以及非专家标注。
• 提供全面且标准化的标注，与国家护理培训指南保持一致，以确保准确性和一致性。
• 支持在多样化任务上的深度学习模型基准测试：未剪辑视频中的操作识别、剪辑视频中的动作分类，以及动作检测。
• 支持开发用于护理实践中实时培训、质量控制和合规性监控的 AI 系统。

提出的方法

• 从超过十个机构的真实临床环境（包括医院、诊所和护理院）收集了 1,538 段未剪辑视频（平均时长 32 秒）。
• 由获得认证的护理专业人员依据中国国家卫生健康委员会《新入职护士培训大纲》对所有视频进行专家级标签标注。
• 定义了 51 种不同的护理操作和 177 个详细的动作步骤，确保操作和时间维度的全面覆盖。
• 建立了三项评估基准：(1) 未剪辑视频中的操作识别，(2) 剪辑视频中联合进行操作与动作步骤识别，(3) 具有时序定位能力的动作检测。
• 设计基准时考虑了长尾分布，以反映真实世界中罕见护理动作的数据稀缺性。
• 通过 GitHub 公开所有数据和代码，以促进可复现性与社区发展。

Figure 1: The examples for the annotated target action boundaries for Intravenous Blood Sampling and Modified Seldinger Technique with Ultrasound for PICC Placement procedures. The frames marked in colored boxes denote the annotated temporal boundaries for the target action steps.

实验结果

研究问题

• RQ1 最先进的深度学习模型能否在从真实世界未剪辑视频序列中识别护理操作方面实现高准确率？
• RQ2 当具备细粒度动作级别标注时，模型在同时分类操作和动作步骤类别方面的表现如何？
• RQ3 动作检测模型在长时未剪辑视频流中定位特定护理动作的能力有多强？
• RQ4 NurViD 中动作步骤的长尾分布在多大程度上影响了模型的泛化能力和性能？
• RQ5 所提出的专家标注数据集能否作为开发护理教育、培训和合规性监控中 AI 工具的可靠基础？

主要发现

• NurViD 是目前最大规模的专家标注护理操作活动理解视频数据集，包含 144 小时视频——约为第二大护理数据集时长的四倍。
• 该数据集涵盖 51 种不同的护理操作和 177 个动作步骤，相较于现有数据集，在操作和动作级别的多样性方面有显著提升。
• 尽管使用了最先进的模型，识别性能仍具挑战性，尤其在罕见动作步骤上，这主要受数据集中长尾分布的影响。
• 基准测试结果表明，当前模型在未剪辑视频中的时序定位方面表现不佳，表明需要改进动作检测架构。
• 专家级标注与国家护理指南高度一致，确保了高一致性和临床相关性，支持可靠模型训练与评估。
• 数据与代码的公开发布，使未来研究能够基于 NurViD 推动护理实践中人工智能的发展与患者安全提升。

Figure 2: The average, maximum, and minimum number of action segments for each procedure.