[论文解读] Machine learning approach for skill evaluation in robotic-assisted surgery

Mahtab J. Fard, Sattar Ameri+4 more|arXiv (Cornell University)|Jan 1, 2016

Surgical Simulation and Training被引用 5

一句话总结

本研究提出了一种机器学习框架，利用六种手术动作特征——完成时间、路径长度、深度感知、速度、平滑度和曲率——客观地对机器人辅助微创手术（RMIS）中的外科医生技能水平进行分类。该方法利用真实手术数据，在区分专家与新手外科医生方面实现了85.7%的准确率，显示出其在现有外科训练系统中集成的高潜力。

ABSTRACT

Evaluating surgeon skill has predominantly been a subjective task. Development of objective methods for surgical skill assessment are of increased interest. Recently, with technological advances such as robotic-assisted minimally invasive surgery (RMIS), new opportunities for objective and automated assessment frameworks have arisen. In this paper, we applied machine learning methods to automatically evaluate performance of the surgeon in RMIS. Six important movement features were used in the evaluation including completion time, path length, depth perception, speed, smoothness and curvature. Different classification methods applied to discriminate expert and novice surgeons. We test our method on real surgical data for suturing task and compare the classification result with the ground truth data (obtained by manual labeling). The experimental results show that the proposed framework can classify surgical skill level with relatively high accuracy of 85.7%. This study demonstrates the ability of machine learning methods to automatically classify expert and novice surgeons using movement features for different RMIS tasks. Due to the simplicity and generalizability of the introduced classification method, it is easy to implement in existing trainers.

研究动机与目标

• 开发一种客观、自动化的机器人辅助微创手术（RMIS）中外科技能评估方法，减少对主观评价的依赖。
• 识别并提取在RMIS任务中能可靠区分专家与新手外科医生的关键动作特征。
• 评估多种机器学习分类器在使用这些动作特征区分技能水平时的性能表现。
• 通过真实手术数据和人工标注的基准数据验证所提出的框架，以评估其准确性。
• 确保该方法简单且具有通用性，便于在现有外科训练平台中实际部署。

提出的方法

• 从记录的手术动作数据中提取六种动作特征——完成时间、路径长度、深度感知、速度、平滑度和曲率，这些数据来自缝合任务期间的手术动作。
• 将多种分类算法应用于提取的特征，以区分专家与新手外科医生的表现。
• 使用在RMIS缝合任务期间收集的真实手术数据对分类模型进行训练和测试。
• 通过人工标注手术视频获得外科医生技能水平的基准标签。
• 采用标准分类指标对框架进行评估，以准确率为首要性能指标。
• 强调该方法的简洁性与通用性，以支持其在现有外科模拟器和训练系统中的集成。

实验结果

研究问题

• RQ1 机器学习模型能否有效利用运动学动作特征对RMIS中的外科医生技能水平进行分类？
• RQ2 哪组动作特征在区分专家与新手外科医生方面具有最强的判别能力？
• RQ3 当使用人工标注的基准数据验证时，所提出的分类框架的准确率如何？
• RQ4 该方法在多大程度上具备通用性和实用性，可部署于现有外科训练环境中？
• RQ5 当应用于外科动作数据时，不同分类算法在性能表现上如何比较？

主要发现

• 所提出的机器学习框架在使用RMIS缝合任务中的动作特征区分专家与新手外科医生时，实现了85.7%的分类准确率。
• 六种动作特征——完成时间、路径长度、深度感知、速度、平滑度和曲率——在捕捉技能水平差异方面表现有效。
• 该方法在真实世界手术数据上表现出色，验证了其在客观技能评估中的潜力。
• 该框架的简洁性与通用性使其适合集成到现有的外科训练系统和模拟器中。
• 结果表明，利用运动学特征实现外科技能的自动化、数据驱动评估是可行且可靠的。
• 对手术视频的人工标注为模型的训练与评估提供了有效的基准真实数据。