[论文解读] DAISI: Database for AI Surgical Instruction

Edgar Rojas-Muñoz, Kyle Couperus+1 more|arXiv (Cornell University)|Mar 22, 2020

Artificial Intelligence in Healthcare and Education参考文献 20被引用 11

一句话总结

本文介绍了DAISI，这是首个公开的外科技术操作图像数据库，包含来自20个医学专科的逐步文本说明。在DAISI上进行训练的编码器-解码器神经网络模型，其BLEU-1得分最高达到67%，专家评估认为其预测结果与真实说明‘有一定相关性’，从而为人工智能驱动的自主外科技能指导建立了基础性基准。

ABSTRACT

Telementoring surgeons as they perform surgery can be essential in the treatment of patients when in situ expertise is not available. Nonetheless, expert mentors are often unavailable to provide trainees with real-time medical guidance. When mentors are unavailable, a fallback autonomous mechanism should provide medical practitioners with the required guidance. However, AI/autonomous mentoring in medicine has been limited by the availability of generalizable prediction models, and surgical procedures datasets to train those models with. This work presents the initial steps towards the development of an intelligent artificial system for autonomous medical mentoring. Specifically, we present the first Database for AI Surgical Instruction (DAISI). DAISI leverages on images and instructions to provide step-by-step demonstrations of how to perform procedures from various medical disciplines. The dataset was acquired from real surgical procedures and data from academic textbooks. We used DAISI to train an encoder-decoder neural network capable of predicting medical instructions given a current view of the surgery. Afterwards, the instructions predicted by the network were evaluated using cumulative BLEU scores and input from expert physicians. According to the BLEU scores, the predicted and ground truth instructions were as high as 67% similar. Additionally, expert physicians subjectively assessed the algorithm using Likert scale, and considered that the predicted descriptions were related to the images. This work provides a baseline for AI algorithms to assist in autonomous medical mentoring.

研究动机与目标

• 为解决在自主外科技能指导中缺乏大规模、经筛选的数据集以训练人工智能模型的问题。
• 开发一个数据库，通过真实图像和标准化文本说明捕捉外科技能的逐步操作流程。
• 评估利用深度学习从术中影像预测准确且上下文相关的外科技能说明的可行性。
• 通过自动指标（BLEU）和专家评估，建立人工智能生成外科技能指导的基准。
• 为未来基于人工智能的实时、自主外科技能指导系统研究提供支持。

提出的方法

• DAISI数据库由20位专家医生的输入、学术教科书以及20个医学专科的真实外科技能影像构建而成。
• 每个数据点包含一张医学影像和一段描述操作步骤的对应文本说明。
• 采用编码器-解码器神经网络架构，将输入的外科技能影像映射为自然语言说明。
• 使用累积BLEU得分（1-gram至4-gram）评估模型，以衡量预测说明与真实说明之间的相似度。
• 由专家医生使用五级李克特量表对预测说明与输入影像的相关性进行主观评估。
• 测试采用跨操作流程和同操作流程的交叉验证方式，以评估模型的泛化能力和流程一致性。

实验结果

研究问题

• RQ1 基于术中影像，深度学习模型能否生成在语义上与专家验证描述相似的外科技能说明？
• RQ2 BLEU得分在多大程度上与专家对外科技能说明相关性的感知一致？
• RQ3 单一人工智能模型在使用统一数据集的情况下，能在多大程度上泛化至多样化的外科学专科？
• RQ4 图像分辨率和说明长度对外科预测说明质量有何影响？
• RQ5 DAISI能否作为训练自主外科技能指导系统的人工智能模型的可行基础？

主要发现

• 人工智能模型在1-gram BLEU得分上达到峰值67%，表明预测说明与真实说明之间具有较强的词汇重叠。
• 4-gram BLEU得分为26%，表明预测描述在短语层面具有合理的相似性。
• 专家平均评价预测说明与输入影像‘有一定相关性’（M = 0.51，SD = 0.32），证实其临床相关性。
• 模型在较长说明序列和较低分辨率图像上表现更优，表明其对词汇量和图像分辨率具有敏感性。
• 尽管BLEU得分较高，部分预测仍被专家判定为错误，凸显了词汇相似性与临床准确性之间的差距。
• 结果相较于随机猜测实现了超过400%的BLEU-1得分提升，验证了DAISI在未来人工智能训练中的实用价值。