[论文解读] Few-shot Diagnosis of Chest x-rays Using an Ensemble of Random Discriminative Subspaces

Kshitiz Gupta, Garvit Garg+1 more|arXiv (Cornell University)|Aug 31, 2023

COVID-19 diagnosis using AIMedicine被引用 3

一句话总结

本文提出了一种快速、高效的少样本学习方法，用于使用随机判别子空间集成的胸部X光片诊断，其在准确率上优于现有方法，并且比基于t-SVD的方法快近1.8倍。该方法使用一种新型损失函数，创建出分离良好、具有判别性的子空间，从而在小规模标注数据集上提升了分类性能。

ABSTRACT

Due to the scarcity of annotated data in the medical domain, few-shot learning may be useful for medical image analysis tasks. We design a few-shot learning method using an ensemble of random subspaces for the diagnosis of chest x-rays (CXRs). Our design is computationally efficient and almost 1.8 times faster than method that uses the popular truncated singular value decomposition (t-SVD) for subspace decomposition. The proposed method is trained by minimizing a novel loss function that helps create well-separated clusters of training data in discriminative subspaces. As a result, minimizing the loss maximizes the distance between the subspaces, making them discriminative and assisting in better classification. Experiments on large-scale publicly available CXR datasets yield promising results. Code for the project will be available at https://github.com/Few-shot-Learning-on-chest-x-ray/fsl_subspace.

研究动机与目标

• 解决在少样本学习用于胸部X光片诊断时标注医学影像数据有限的挑战。
• 开发一种计算效率更高的替代方案，以替代现有的子空间分解方法（如t-SVD）。
• 通过一种新型损失函数生成判别性强、低相关性的子空间，从而提升分类准确率。
• 在医学影像中仅使用每类少量标注样本的情况下，实现有效的少样本学习。

提出的方法

• 采用三模块流水线：特征提取模块（FEM），使用微调后的EfficientNet-B7进行特征提取。
• 采用子空间嵌入模块（SEM），通过可学习的全连接层将特征投影到多个随机且具有判别性的子空间中。
• 应用一种新型判别损失，以最小化子空间之间的相似性并最大化子空间间的分离度。
• 通过计算每个子空间中类别均值嵌入的L2距离，随后使用softmax进行分类。
• 使用最终决策模块（FDM）聚合子空间中的预测结果，以进行最终的标签分配。
• 通过最小化复合损失端到端优化模型，以增强子空间的判别能力。

Figure 1: Pipeline of the proposed method. Our model consists of a feature extraction module (FEM), a subspace embedding module (SEM), and a final decision module (FDM). FEM extracts visual features from the chest x-ray images. SEM projects the extracted feature vectors into multiple random subspace

实验结果

研究问题

• RQ1 由随机子空间组成的集成是否能在仅使用少量标注数据的情况下，实现胸部X光片诊断的有竞争力的少样本分类性能？
• RQ2 与基于t-SVD的子空间分解技术相比，所提出方法在准确率和速度方面表现如何？
• RQ3 新型判别损失函数是否能有效增强子空间间的分离度并提升分类性能？
• RQ4 在少样本胸部X光片诊断中，达到最佳性能的子空间数量是多少？

主要发现

• 在NIH CXR数据集的3类5-shot分类任务中，所提出方法在多个测试类别上实现了最先进或具有竞争力的准确率。
• 当使用30个子空间时，该方法在Group1（纤维化、疝气、肺炎）上达到最高的平均准确率42.82%，优于ProtoNet和MatchingNet。
• 与使用t-SVD的DSN相比，该方法每轮训练快约1.8倍，训练时间分别为18分35秒（GTX 1080 Ti）和33分48秒。
• 在Group3（肺水肿、肺气肿、实变）上，该方法达到65.16%的准确率，显著优于DSN（肺水肿为68.00%，但其他类别表现较低）。
• 消融实验确认，30个子空间可实现最优性能，表明子空间数量对模型效能有显著影响。
• 新型损失函数有效降低了子空间间的相似性，从而提升了类间分离度，并增强了分类的鲁棒性。

Figure 2: Sample results of the prediction (P) by the proposed method and the ground truth (GT) for images of novel classes. Correct and incorrect detections are marked in green and red, respectively.