[论文解读] Deep Neural Networks for the Assessment of Surgical Skills: A Systematic Review

Erim Yanık, Xavier Intes+7 more|arXiv (Cornell University)|Mar 3, 2021

Surgical Simulation and Training参考文献 54被引用 7

一句话总结

本篇系统性综述评估了使用运动学和视频数据对外科技能进行客观、自动化评估的深度神经网络（DNNs）。基于25项入选研究，DNN在技能分类和回归任务中表现出色，凸显了构建更大规模、公开可用的多模态数据集以推动该领域发展的迫切需求。

ABSTRACT

Surgical training in medical school residency programs has followed the apprenticeship model. The learning and assessment process is inherently subjective and time-consuming. Thus, there is a need for objective methods to assess surgical skills. Here, we use the Preferred Reporting Items for Systematic Reviews and Meta-Analyses (PRISMA) guidelines to systematically survey the literature on the use of Deep Neural Networks for automated and objective surgical skill assessment, with a focus on kinematic data as putative markers of surgical competency. There is considerable recent interest in deep neural networks (DNN) due to the availability of powerful algorithms, multiple datasets, some of which are publicly available, as well as efficient computational hardware to train and host them. We have reviewed 530 papers, of which we selected 25 for this systematic review. Based on this review, we concluded that DNNs are powerful tools for automated, objective surgical skill assessment using both kinematic and video data. The field would benefit from large, publicly available, annotated datasets that are representative of the surgical trainee and expert demographics and multimodal data beyond kinematics and videos.

研究动机与目标

• 评估当前深度神经网络（DNNs）在自动化、客观外科技能评估中的研究现状。
• 识别DNN外科技能评估中使用的关键方法、数据类型（运动学与视频数据）以及性能指标。
• 评估DNN外科技能研究中所用数据集的可用性与质量。
• 识别当前研究中的关键缺口与挑战，特别是数据多样性、标注一致性以及多模态数据融合方面的问题。
• 提出未来研究方向，包括开发大规模、公开可用、具有代表性的数据集。

提出的方法

• 本研究遵循PRISMA指南，系统性地检索并筛选了530篇关于DNN在外科技能评估中应用的论文。
• 纳入标准包括：使用DNN进行技能评估的研究，重点关注外科任务中的运动学数据与视频数据。
• 对入选研究进行方法、数据模态、性能指标及数据集特征的分析。
• 综述评估了应用于外科视频与运动数据的DNN架构，如卷积神经网络（CNNs）、循环神经网络（RNNs）及混合模型。
• 通过准确率、F1值以及与专家评分的相关性等指标评估性能。
• 分析强调了数据质量、标注一致性以及在不同外科专科间泛化能力的重要性。

实验结果

研究问题

• RQ1 使用运动学与视频数据时，深度神经网络在分类或回归外科技能水平方面的有效性如何？
• RQ2 在外科技能评估中，最常使用的DNN架构有哪些？它们在性能上如何比较？
• RQ3 当前用于训练和评估DNN的外科技能数据集的主要局限性是什么？
• RQ4 各研究中报告的性能指标在多大程度上保持一致且可靠，特别是与专家标注基准的相关性如何？
• RQ5 在推进客观、自动化外科技能评估方面，当前存在哪些关键研究缺口与未来方向？

主要发现

• DNN在分类外科技能水平方面表现出色，多项研究使用运动学与视频数据报告的准确率超过90%。
• 卷积神经网络（CNNs）与循环神经网络（RNNs）是最广泛使用的架构，而混合模型在多模态数据上展现出更优性能。
• 使用运动学数据的研究与专家标注的技能评分之间表现出高度相关性（r > 0.8），显示出客观评估的强劲潜力。
• 仅有少数研究使用公开数据集，限制了研究的可复现性以及模型在不同机构与专科间的泛化能力。
• 目前缺乏覆盖不同外科专科、不同技能水平的初学者与专家的代表性、多样化数据集。
• 本综述识别出对大规模、多模态、公开可获取数据集的迫切需求，以加速自动化外科技能评估的发展。