[论文解读] Heterogeneity Loss to Handle Intersubject and Intrasubject Variability in Cancer

Shubham Goswami, Suril Mehta+3 more|arXiv (Cornell University)|Mar 6, 2020

Digital Imaging for Blood Diseases被引用 11

一句话总结

该论文提出了一种异质性损失函数和一种新型集成策略，以解决使用深度学习进行B细胞急性淋巴细胞白血病（B-ALL）诊断时的个体间和个体内变异问题。通过引入基于主体的特征正则化和基于置信度的投票集成方法，该方法在C-NMC 2019测试集上实现了95.26%的SOTA加权F1分数，优于同一基准上的先前方法。

ABSTRACT

Developing nations lack adequate number of hospitals with modern equipment and skilled doctors. Hence, a significant proportion of these nations' population, particularly in rural areas, is not able to avail specialized and timely healthcare facilities. In recent years, deep learning (DL) models, a class of artificial intelligence (AI) methods, have shown impressive results in medical domain. These AI methods can provide immense support to developing nations as affordable healthcare solutions. This work is focused on one such application of blood cancer diagnosis. However, there are some challenges to DL models in cancer research because of the unavailability of a large data for adequate training and the difficulty of capturing heterogeneity in data at different levels ranging from acquisition characteristics, session, to subject-level (within subjects and across subjects). These challenges render DL models prone to overfitting and hence, models lack generalization on prospective subjects' data. In this work, we address these problems in the application of B-cell Acute Lymphoblastic Leukemia (B-ALL) diagnosis using deep learning. We propose heterogeneity loss that captures subject-level heterogeneity, thereby, forcing the neural network to learn subject-independent features. We also propose an unorthodox ensemble strategy that helps us in providing improved classification over models trained on 7-folds giving a weighted-$F_1$ score of 95.26% on unseen (test) subjects' data that are, so far, the best results on the C-NMC 2019 dataset for B-ALL classification.

研究动机与目标

• 为解决B-ALL医学影像数据集中存在的个体间与个体内变异问题，这些变异会阻碍深度学习模型的泛化能力。
• 通过一种新型损失函数学习与主体无关的特征，以提升模型在未见主体上的泛化能力。
• 开发一种稳健的集成策略，以提升在类别不平衡、主体多样的数据上的分类性能。
• 在C-NMC 2019 B-ALL分类基准上实现SOTA性能，特别是在未见主体的测试数据上表现优异。

提出的方法

• 提出异质性损失函数 $\mathcal{L}_H = \mathcal{L}_{CE} + \mathcal{L}_{C_{\text{subject}}} + \mathcal{L}_{C_{\text{class}}} + \mathcal{L}_{C_{\text{subject-class}}}$，以对冲模型在主体级别和类别级别上的特征偏差。
• 引入 $\mathcal{L}_{C_{\text{subject}}}$ 以最小化同一主体下图像之间的特征方差，促进学习到主体不变的表示。
• 在基于主体的7折交叉验证划分上训练七个Inception-v3模型，以确保训练与测试主体之间无数据泄露。
• 采用混合集成策略：对高置信度预测（阈值 $\theta \geq 0.90$）使用最大投票法，对低置信度预测使用调和平均投票法，以提升鲁棒性。
• 利用T-SNE可视化和收敛性图验证损失函数在学习解耦、类别可区分特征方面的有效性。
• 应用染色去卷积以归一化颜色差异，并仅使用基于主体的训练-测试划分，以模拟真实世界部署场景。

实验结果

研究问题

• RQ1 一种显式建模主体级别异质性的损失函数是否能提升B-ALL分类中的泛化能力？
• RQ2 将个体内与个体间变异纳入损失函数是否会影响模型在未见主体上的性能表现？
• RQ3 结合最大投票法与调和平均投票法的混合集成策略是否能提升在类别不平衡、主体多样的数据上的鲁棒性与F1分数？
• RQ4 与基于图像级别的训练与评估相比，基于主体级别的训练与评估是否能带来更好的医学图像分类泛化性能？

主要发现

• 所提出的异质性损失函数通过减少对主体特异性特征的过拟合，显著提升了模型的泛化能力。
• 混合集成策略在C-NMC 2019最终测试集上实现了95.26%的加权F1分数，为迄今报告的最高结果。
• 该方法在相同基准上优于先前SOTA模型，包括使用ResNet、DenseNet和集成架构的模型。
• 与标准交叉熵损失相比，损失中包含 $\mathcal{L}_{C_{\text{subject}}}$ 使加权F1分数提升了4.3%。
• T-SNE可视化结果表明，使用异质性损失时，模型学习到的特征更具判别性且更解耦。
• 该方法在未见主体上表现出有效的泛化能力，表现为在全部7折验证集和最终测试集上均保持一致的性能表现。