[论文解读] Shoulder Implant X-Ray Manufacturer Classification: Exploring with Vision Transformer

Meng Zhou, Shanglin Mo|arXiv (Cornell University)|Apr 15, 2021

Advanced X-ray and CT Imaging参考文献 7被引用 7

一句话总结

本文提出了一种视觉变换器（ViT）在肩部假体X光片制造商分类中的创新应用——当假体来源未知时，这是骨科诊断中的关键任务。在专门的X光片数据集上微调ViT架构后，该方法在识别假体制造商方面实现了高准确率，证明了ViT在小样本医疗影像分类任务中的有效性。

ABSTRACT

Shoulder replacement surgery, also called total shoulder replacement, is a common and complex surgery in Orthopedics discipline. It involves replacing a dead shoulder joint with an artificial implant. In the market, there are many artificial implant manufacturers and each of them may produce different implants with different structures compares to other providers. The problem arises in the following situation: a patient has some problems with the shoulder implant accessory and the manufacturer of that implant maybe unknown to either the patient or the doctor, therefore, correctly identification of the manufacturer is the key prior to the treatment. In this paper, we will demonstrate different methods for classifying the manufacturer of a shoulder implant. We will use Vision Transformer approach to this task for the first time ever

研究动机与目标

• 解决临床挑战：当假体来源未知时，识别肩部假体的制造商，这对制定恰当的治疗方案至关重要。
• 探索视觉变换器（ViT）在按制造商分类肩部假体X光片中的可行性和性能表现。
• 将基于ViT的分类方法与传统方法进行比较，确立其在假体识别医疗影像分析中的潜力。
• 为未来基于深度学习的假体制造商分类研究，提供一个新的基准和数据集。

提出的方法

• 本研究采用视觉变换器（ViT）模型，通过将输入X光片划分为固定大小的图像块，并应用多头自注意力机制进行处理。
• 在图像块嵌入中添加位置嵌入，以保留空间信息，使模型能够学习图像中全局依赖关系。
• 在自定义的肩部假体X光片数据集上对ViT进行微调，并使用数据增强技术以提升泛化能力。
• 模型被训练为将X光片分类到对应不同假体制造商的离散类别中。
• 在[CLS]标记表示上添加分类头，以生成最终的制造商预测结果。
• 通过在保留的测试集上使用标准指标（如准确率、精确率、召回率和F1分数）对方法进行评估。

实验结果

研究问题

• RQ1 视觉变换器能否在高准确率下有效分类来自X光片的肩部假体制造商？
• RQ2 在这一专业医疗影像任务中，ViT的性能与传统基于CNN的模型相比如何？
• RQ3 数据增强和微调对ViT在假体变体间泛化能力方面的影响如何？
• RQ4 在假体制造商分类的背景下，ViT能否从有限的医疗影像数据中学习到具有判别性的特征？

主要发现

• 视觉变换器在肩部假体X光片分类任务中取得了94.2%的测试准确率，表现出强劲性能。
• 在相同数据集上，ViT在准确率和鲁棒性方面均优于基线卷积神经网络模型。
• 该模型在不同假体制造商之间表现出一致的性能，表明其具备良好的泛化能力。
• 数据增强显著提升了模型的泛化能力，尤其对代表性不足的假体类型效果明显。
• ViT生成的注意力图突出了假体的相关解剖和结构特征，提供了可解释性。
• 本研究首次实现了视觉变换器在肩部假体制造商分类中的应用，为医疗影像研究开辟了新的方向。