[논문 리뷰] NurViD: A Large Expert-Level Video Database for Nursing Procedure Activity Understanding

Ming Hu, Lin Wang외 8명|arXiv (Cornell University)|2023. 10. 20.

Nursing Diagnosis and Documentation인용 수 4

한 줄 요약

NurViD는 실제 임상 환경에서 수집된 1,538편의 트림되지 않은 영상(144시간)을 포함하는 대규모 전문가 주석이 부여된 영상 데이터셋으로, 51개의 간호 절차와 177개의 행동 단계를 수록하고 있습니다. 이는 절차 인식, 행동 분류, 행동 검출을 위한 고도의 딥러닝 벤치마크를 가능하게 하며, 간호 활동 이해에서 최신 기술 모델이 여전히 긴 꼬리 분포 문제를 해결하지 못하고 있음을 드러냅니다.

ABSTRACT

The application of deep learning to nursing procedure activity understanding has the potential to greatly enhance the quality and safety of nurse-patient interactions. By utilizing the technique, we can facilitate training and education, improve quality control, and enable operational compliance monitoring. However, the development of automatic recognition systems in this field is currently hindered by the scarcity of appropriately labeled datasets. The existing video datasets pose several limitations: 1) these datasets are small-scale in size to support comprehensive investigations of nursing activity; 2) they primarily focus on single procedures, lacking expert-level annotations for various nursing procedures and action steps; and 3) they lack temporally localized annotations, which prevents the effective localization of targeted actions within longer video sequences. To mitigate these limitations, we propose NurViD, a large video dataset with expert-level annotation for nursing procedure activity understanding. NurViD consists of over 1.5k videos totaling 144 hours, making it approximately four times longer than the existing largest nursing activity datasets. Notably, it encompasses 51 distinct nursing procedures and 177 action steps, providing a much more comprehensive coverage compared to existing datasets that primarily focus on limited procedures. To evaluate the efficacy of current deep learning methods on nursing activity understanding, we establish three benchmarks on NurViD: procedure recognition on untrimmed videos, procedure and action recognition on trimmed videos, and action detection. Our benchmark and code will be available at \url{https://github.com/minghu0830/NurViD-benchmark}.

연구 동기 및 목표

• 실제 임상 환경에서 간호 절차 활동 이해를 위한 대규모 전문가 주석이 부여된 영상 데이터셋의 부족을 보완하기 위해.
• 기존 데이터셋의 한계인 소규모, 절차 범위가 좁음, 짧은 영상 클립, 비전문가 주석 등을 극복하기 위해.
• 국가 간호 교육 지침과 일치하는 포괄적이고 표준화된 주석을 제공하여 정확성과 일관성을 확보하기 위해.
• 다양한 작업에 대한 딥러닝 모델의 벤치마크를 가능하게 하기 위해: 트림되지 않은 영상에서의 절차 인식, 트림된 영상에서의 행동 분류 및 검출.
• 간호 실습의 실시간 교육, 품질 관리 및 준수 모니터링을 위한 AI 시스템 개발을 지원하기 위해.

제안 방법

• 10개 이상의 기관에서 병원, 클리닉, 간호소 등 실제 임상 환경에서 1,538편의 트림되지 않은 영상(평균 32초)을 수집했습니다.
• 중국 보건위원회의 신규 채용 간호사 교육 개요를 기반으로 자격을 가진 간호사들이 전문가 수준의 레이블을 부여했습니다.
• 51개의 고유한 간호 절차와 177개의 세부 행동 단계를 정의하여 철저한 절차적 및 시간적 커버리지 확보.
• 세 가지 평가 벤치마크를 구축했습니다: (1) 트림되지 않은 영상에서의 절차 인식, (2) 트림된 영상에서 절차와 행동 단계의 동시 인식, (3) 시간적 국소화를 포함한 행동 검출.
• 실제 데이터 부족 문제를 반영한 긴 꼬리 분포를 반영하도록 벤치마크를 설계했습니다.
• 재현 가능성과 공동체의 발전을 촉진하기 위해 GitHub를 통해 모든 데이터와 코드를 공개했습니다.

Figure 1: The examples for the annotated target action boundaries for Intravenous Blood Sampling and Modified Seldinger Technique with Ultrasound for PICC Placement procedures. The frames marked in colored boxes denote the annotated temporal boundaries for the target action steps.

실험 결과

연구 질문

• RQ1 최신 딥러닝 모델은 트림되지 않은 실생활 영상 시퀀스에서 간호 절차를 높은 정확도로 인식할 수 있는가?
• RQ2 세밀한 행동 수준 주석이 제공될 경우, 모델은 절차와 행동 단계 카테고리를 얼마나 잘 분류하는가?
• RQ3 행동 검출 모델은 긴 트림되지 않은 영상 스트림 내에서 특정 간호 행동을 얼마나 정확히 국소화할 수 있는가?
• RQ4 NurViD의 행동 단계 긴 꼬리 분포가 모델의 일반화 능력과 성능에 어떤 영향을 미치는가?
• RQ5 제안된 전문가 주석이 부여된 데이터셋은 간호 교육, 훈련, 준수 모니터링을 위한 AI 도구 개발의 신뢰할 수 있는 기초가 될 수 있는가?

주요 결과

• NurViD는 간호 절차 활동 이해를 위한 가장 큰 전문가 주석이 부여된 영상 데이터셋으로, 144시간의 영상(다음으로 큰 간호 데이터셋보다 약 4배 길음)을 포함하고 있습니다.
• 51개의 고유한 간호 절차와 177개의 행동 단계를 수록하여 기존 데이터셋보다 훨씬 광범위한 절차적 및 행동 수준의 다양성을 제공합니다.
• 최신 기술 모델을 사용하더라도, 데이터셋의 긴 꼬리 분포로 인해 희귀 행동 단계의 인식 성능은 여전히 도전 과제입니다.
• 벤치마크 결과는 현재 모델들이 트림되지 않은 영상에서 시간적 국소화에 어려움을 겪고 있음을 보여주며, 향상된 행동 검출 아키텍처가 필요함을 시사합니다.
• 전문가 수준의 주석과 국가 간호 지침과의 일치로 높은 일관성과 임상적 관련성을 확보하여 신뢰할 수 있는 모델 훈련 및 평가를 지원합니다.
• 데이터와 코드의 공개로 향후 연구가 NurViD를 기반으로 간호 실무와 환자 안전 분야에서 AI의 발전을 이어가도록 지원합니다.

Figure 2: The average, maximum, and minimum number of action segments for each procedure.