[论文解读] DESK: A Robotic Activity Dataset for Dexterous Surgical Skills Transfer to Medical Robots

Naveen Madapana, M. K. Abd Rahman+11 more|arXiv (Cornell University)|Mar 3, 2019

Surgical Simulation and Training参考文献 34被引用 3

一句话总结

本论文介绍了DESK，一个面向多领域机器人手术的基准数据集，包含来自模拟Taurus II机器人、真实Taurus II机器人以及YuMi工业机器人的 peg transfer 任务数据。实验表明，从仿真数据到真实机器人系统的迁移学习可显著提升手术动作分类的准确率——仅使用仿真数据时准确率达到55%，当加入3%的真实数据后准确率提升34%，实现了在多种机器人平台间的技能迁移。

ABSTRACT

Datasets are an essential component for training effective machine learning models. In particular, surgical robotic datasets have been key to many advances in semi-autonomous surgeries, skill assessment, and training. Simulated surgical environments can enhance the data collection process by making it faster, simpler and cheaper than real systems. In addition, combining data from multiple robotic domains can provide rich and diverse training data for transfer learning algorithms. In this paper, we present the DESK (Dexterous Surgical Skill) dataset. It comprises a set of surgical robotic skills collected during a surgical training task using three robotic platforms: the Taurus II robot, Taurus II simulated robot, and the YuMi robot. This dataset was used to test the idea of transferring knowledge across different domains (e.g. from Taurus to YuMi robot) for a surgical gesture classification task with seven gestures. We explored three different scenarios: 1) No transfer, 2) Transfer from simulated Taurus to real Taurus and 3) Transfer from Simulated Taurus to the YuMi robot. We conducted extensive experiments with three supervised learning models and provided baselines in each of these scenarios. Results show that using simulation data during training enhances the performance on the real robot where limited real data is available. In particular, we obtained an accuracy of 55% on the real Taurus data using a model that is trained only on the simulator data. Furthermore, we achieved an accuracy improvement of 34% when 3% of the real data is added into the training process.

研究动机与目标

• 为解决非达芬奇手术机器人缺乏公开可用数据集的问题，该问题限制了机器人平台间的迁移学习。
• 实现在微创手术中从仿真系统向真实机器人系统迁移知识。
• 构建一个基准数据集（DESK），支持不同机器人形态及领域（仿真、真实Taurus II、真实YuMi）之间的迁移学习。
• 评估在仅使用少量真实数据和大量仿真数据的情况下，迁移学习在手术动作分类中的有效性。
• 为未来在领域自适应、实时手术动作检测以及跨机器人技能迁移方面的研究提供基础。

提出的方法

• DESK数据集通过三种平台采集：模拟Taurus II机器人、真实Taurus II机器人以及真实YuMi工业机器人。
• 在peg transfer任务中，同步记录了RGB-D视频与运动学数据。
• 通过结合基于颜色的图像处理与人工验证的半自动流程，对手术动作实例进行标注，确定边界框与动作边界。
• 从运动学与视觉数据中提取序列级与帧级特征，用于分类任务。
• 在三种迁移学习场景下训练并评估了三种监督学习模型（SVM、随机森林、MLP）：无迁移、从仿真Taurus迁移至真实Taurus，以及从仿真Taurus迁移至YuMi。
• 通过在仿真数据上训练模型，并使用不同比例的真实机器人数据进行微调，评估迁移学习的性能增益。

实验结果

研究问题

• RQ1 在真实机器人系统中仅使用有限的真实数据时，仿真生成的数据能否有效提升手术动作分类的准确率？
• RQ2 当从仿真机器人向物理上不同的真实机器人（如从Taurus到YuMi）进行迁移时，迁移学习的性能如何变化？
• RQ3 在仅使用仿真数据训练的基础上，添加少量真实机器人数据对分类准确率有何影响？
• RQ4 序列级特征与帧级特征表示在手术动作分类的迁移学习中表现有何差异？
• RQ5 在未进行预先分割的情况下，仅基于仿真数据训练的模型能否实现实时检测手术动作的起止边界？

主要发现

• 仅使用仿真Taurus II数据训练的模型，在真实Taurus II机器人数据上实现了55%的分类准确率，证明了从仿真到现实的零样本迁移具有有效性。
• 在仿真训练数据中仅加入3%的真实Taurus II数据，分类准确率提升了34%，凸显了少量真实数据在微调中的关键价值。
• 当从仿真Taurus迁移至YuMi机器人时，性能下降（需α=0.3才能达到80%准确率），相比Taurus（α=0.12），表明YuMi与Taurus之间存在更大的领域差异。
• 序列级特征在迁移学习任务中优于帧级特征，表明时间上下文对准确识别手术动作至关重要。
• 帧级分类方法在实时应用中表现出潜力，因其无需预分割的手术动作边界，可实现实时检测动作的起始与结束点。
• 数据集与代码已公开发布于 https://github.com/nmadapan/Forward_Project.git，支持未来在跨机器人迁移学习与实时手术技能识别方面的研究。