[论文解读] SparseConvMIL: Sparse Convolutional Context-Aware Multiple Instance Learning for Whole Slide Image Classification

Marvin Lerousseau, Maria Vakalopoulou+2 more|arXiv (Cornell University)|May 6, 2021

AI in cancer detection参考文献 30被引用 5

一句话总结

该论文提出了一种名为SparseConvMIL的新颖多实例学习框架，通过在空间感知的嵌入图上使用稀疏卷积神经网络，建模全切片图像（WSI）切片之间的空间关系。通过利用稀疏卷积捕捉上下文信息，该方法在包含32种癌症亚型的大规模10,000张全切片图像分类基准上实现了最先进性能，相较于现有MIL方法，在表征学习和分类准确率方面均有提升。

ABSTRACT

Multiple instance learning (MIL) is the preferred approach for whole slide image classification. However, most MIL approaches do not exploit the interdependencies of tiles extracted from a whole slide image, which could provide valuable cues for classification. This paper presents a novel MIL approach that exploits the spatial relationship of tiles for classifying whole slide images. To do so, a sparse map is built from tiles embeddings, and is then classified by a sparse-input CNN. It obtained state-of-the-art performance over popular MIL approaches on the classification of cancer subtype involving 10000 whole slide images. Our results suggest that the proposed approach might (i) improve the representation learning of instances and (ii) exploit the context of instance embeddings to enhance the classification performance. The code of this work is open-source at {github censored for review}.

研究动机与目标

• 解决现有MIL方法在全切片图像分类中忽略切片之间空间关系的局限性。
• 开发一种可扩展、模块化且可微分的MIL框架，以捕捉全切片图像中切片排列所蕴含的上下文线索。
• 在包含10,000张全切片图像、涉及32种癌症亚型的大规模、具有临床相关性的全切片图像分类任务上对方法进行基准测试。
• 通过利用切片嵌入中的空间上下文信息，提升实例表征学习能力和整体分类性能。

提出的方法

• 一个共享的切片嵌入器（去除分类头的ResNet34）从全切片图像中随机采样的128×128像素切片中提取512维嵌入。
• 根据切片在全切片图像中的原始空间坐标，将切片嵌入映射到稀疏的二维特征图上，形成空间结构化的表征。
• 一个输入为稀疏的卷积神经网络处理该稀疏图，以捕捉切片嵌入之间的局部与全局空间依赖关系。
• 将得到的全切片图像级别嵌入通过一个具有32个单元的全连接分类头，实现多类别亚型分类。
• 整个模型通过二元交叉熵损失、Adam优化器以及对切片坐标应用数据增强（翻转、旋转、缩放）进行端到端训练。
• 为应对类别不平衡问题，在32类数据集上训练期间应用了逆频率过采样策略。

实验结果

研究问题

• RQ1 与标准MIL方法相比，建模切片嵌入之间的空间关系是否能提升全切片图像分类性能？
• RQ2 稀疏卷积架构是否能有效捕捉全切片图像中分布不规则的切片嵌入所蕴含的上下文信息？
• RQ3 所提出的方法在具有高类别多样性与长尾分布的大规模真实世界全切片图像数据集上的可扩展性与性能表现如何？
• RQ4 稀疏图表示在多大程度上增强了实例表征学习与最终分类准确率？

主要发现

• SparseConvMIL在包含32种癌症亚型的10,000张全切片图像分类基准上实现了最先进性能，优于现有MIL方法。
• 该方法通过利用空间上下文信息显著提升了分类准确率，尤其得益于对切片间关系的建模。
• 即使在代表性不足的癌症亚型上，模型也表现出色，部分类别训练切片少至138张。
• 在切片坐标上应用空间数据增强（翻转、旋转、缩放）显著提升了模型的鲁棒性与泛化能力。
• 稀疏卷积模块能有效处理分布不规则的切片嵌入，而无需密集特征图，从而降低了内存开销。
• 通过共享嵌入与分类头的端到端训练，确保了所有基准方法的一致性能表现，验证了该方法的可扩展性与模块化设计。