[论文解读] Magnification-independent Histopathological Image Classification with Similarity-based Multi-scale Embeddings

Yibao Sun, Xingru Huang+3 more|arXiv (Cornell University)|Jul 2, 2021

AI in cancer detection参考文献 46被引用 5

一句话总结

本文提出了一种基于相似性感知的多尺度嵌入（SMSE）方法，实现与放大倍数无关的组织病理学图像分类，通过成对损失和三元组损失学习跨不同放大倍数的鲁棒、相似性感知图像表征。该方法显著提升了分类准确率，在BreakHis基准上相比先前方法实现了5–18%的相对性能提升。

ABSTRACT

The classification of histopathological images is of great value in both cancer diagnosis and pathological studies. However, multiple reasons, such as variations caused by magnification factors and class imbalance, make it a challenging task where conventional methods that learn from image-label datasets perform unsatisfactorily in many cases. We observe that tumours of the same class often share common morphological patterns. To exploit this fact, we propose an approach that learns similarity-based multi-scale embeddings (SMSE) for magnification-independent histopathological image classification. In particular, a pair loss and a triplet loss are leveraged to learn similarity-based embeddings from image pairs or image triplets. The learned embeddings provide accurate measurements of similarities between images, which are regarded as a more effective form of representation for histopathological morphology than normal image features. Furthermore, in order to ensure the generated models are magnification-independent, images acquired at different magnification factors are simultaneously fed to networks during training for learning multi-scale embeddings. In addition to the SMSE, to eliminate the impact of class imbalance, instead of using the hard sample mining strategy that intuitively discards some easy samples, we introduce a new reinforced focal loss to simultaneously punish hard misclassified samples while suppressing easy well-classified samples. Experimental results show that the SMSE improves the performance for histopathological image classification tasks for both breast and liver cancers by a large margin compared to previous methods. In particular, the SMSE achieves the best performance on the BreakHis benchmark with an improvement ranging from 5% to 18% compared to previous methods using traditional features.

研究动机与目标

• 为解决组织病理学图像分类中放大倍数变化带来的挑战，该挑战限制了模型的泛化能力。
• 克服传统方法因形态差异和类别不平衡导致性能下降的局限性。
• 通过挖掘同一类别肿瘤间共享的形态学模式，学习更有效的图像表征。
• 通过在训练过程中使用多尺度输入，设计一种确保在不同放大倍数下具备鲁棒性的训练策略。
• 通过抑制已被正确分类的简单样本并增强难分类样本的损失，从而缓解类别不平衡问题，且无需依赖难样本挖掘。

提出的方法

• 该方法采用成对损失和三元组损失，从图像对和三元组中学习基于相似性的嵌入，捕捉组织病理学图像之间的形态学相似性。
• 通过在训练过程中同时输入不同放大倍数获取的图像，学习多尺度嵌入。
• 引入强化焦点损失，动态抑制已被正确分类的简单样本，同时增加对难以分类样本的损失。
• 优化嵌入空间以反映语义相似性，从而实现更准确的图像相似性度量，作为形态学的优越表征。
• 采用对比学习原则进行端到端训练，以增强在不同放大倍数下的泛化能力。
• 通过学习跨尺度变化的共享表征，使网络架构对放大倍数保持不变。

实验结果

研究问题

• RQ1 基于相似性的嵌入能否在不同放大倍数下提升组织病理学图像分类性能？
• RQ2 联合多尺度训练在多大程度上增强模型对放大倍数变化的鲁棒性？
• RQ3 强化焦点损失在多大程度上可缓解组织病理学数据集中类别不平衡的负面影响？
• RQ4 从图像对和三元组中学习是否能产生比标准特征学习更具判别性的表征？
• RQ5 在BreakHis等基准数据集上，所提出的SMSE方法与当前最先进方法相比表现如何？

主要发现

• SMSE方法在BreakHis基准上相比使用传统特征的先前方法，分类准确率实现了5–18%的相对提升。
• 该模型表现出强大的放大倍数无关性，得益于多尺度训练，在不同放大倍数下均保持高性能。
• 强化焦点损失有效降低了简单样本的影响，同时提升了对难分类样本的分类性能，从而获得更优的整体表现。
• 基于相似性的嵌入比传统图像特征更能有效表征组织病理学形态学特征。
• 该方法在乳腺癌和肝癌分类任务中均优于现有方法，证实了其良好的泛化能力。
• 使用三元组和成对损失显著增强了所学嵌入的判别能力，尤其在复杂且类别不平衡的数据集中表现突出。