[论文解读] Deep Instance-Level Hard Negative Mining Model for Histopathology Images

Meng Li, Lin Wu+4 more|arXiv (Cornell University)|Jun 24, 2019

AI in cancer detection参考文献 22被引用 4

一句话总结

本文提出了一种用于组织病理学图像分析的深度实例级难样本挖掘模型，通过整合自适应注意力机制和实例级加权，提升了弱监督袋分类的性能。通过识别并重新训练难负样本块，该方法在结肠癌和乳腺癌数据集上实现了最先进性能，且误报率显著降低。

ABSTRACT

Histopathology image analysis can be considered as a Multiple instance learning (MIL) problem, where the whole slide histopathology image (WSI) is regarded as a bag of instances (i.e, patches) and the task is to predict a single class label to the WSI. However, in many real-life applications such as computational pathology, discovering the key instances that trigger the bag label is of great interest because it provides reasons for the decision made by the system. In this paper, we propose a deep convolutional neural network (CNN) model that addresses the primary task of a bag classification on a WSI and also learns to identify the response of each instance to provide interpretable results to the final prediction. We incorporate the attention mechanism into the proposed model to operate the transformation of instances and learn attention weights to allow us to find key patches. To perform a balanced training, we introduce adaptive weighing in each training bag to explicitly adjust the weight distribution in order to concentrate more on the contribution of hard samples. Based on the learned attention weights, we further develop a solution to boost the classification performance by generating the bags with hard negative instances. We conduct extensive experiments on colon and breast cancer histopathology data and show that our framework achieves state-of-the-art performance.

研究动机与目标

• 解决在全切片图像（WSIs）中识别关键诊断块以实现可解释性计算病理学的挑战。
• 通过聚焦于误导分类的难负样本实例，缓解多实例学习（MIL）中的训练不平衡问题。
• 通过从难负样本块生成合成训练袋，提升模型的鲁棒性与准确性。
• 实现端到端学习，利用注意力权重突出全切片图像中显著且与决策相关的块。

提出的方法

• 将注意力机制集成到深度卷积神经网络中，学习实例级注意力权重，识别对袋级预测有贡献的关键块。
• 应用自适应损失加权，在反向传播过程中为难负样本分配更高重要性，以实现训练平衡。
• 开发一种袋生成算法，利用注意力得分识别出的最具挑战性的负样本块构建新的训练袋。
• 采用两阶段训练流程：首先，使用自适应注意力训练模型；其次，生成并重新训练难负样本袋以提升性能。
• 采用实例级注意力，将可学习的注意力机制应用于分类前的块嵌入表示，以计算注意力权重。
• 采用10折/4折交叉验证并重复五次，以确保在多个数据划分下评估结果的稳健性。

实验结果

研究问题

• RQ1 注意力机制如何被有效用于识别组织病理学全切片图像中的关键诊断块？
• RQ2 通过聚焦于难负样本，自适应实例级加权是否能提升模型的泛化能力？
• RQ3 从难负样本生成合成训练袋是否能提升分类准确率并降低误报率？
• RQ4 在真实组织病理学数据集上，该方法与最先进MIL方法相比，在AUC、FPR和F-score方面表现如何？

主要发现

• 在结肠癌数据集上，该方法测试准确率达到94.8%，优于基线MIL模型（90.4%），并创下新的最先进结果。
• 在UCSB数据集上，该方法采用FMB（特征聚类采样）策略时AUC达到0.999，与Song等[17]的SOTA性能相当，同时将误报率显著降低至0.040 ± 0.019。
• 基于FMB的难负样本袋生成策略将结肠癌数据的误报率降低至0.036 ± 0.007，相比基线（0.104 ± 0.012）有显著改善。
• 在结肠癌数据上采用FMB策略时，模型召回率达到0.920，F-score达到0.945，表明在不牺牲精确率的前提下，对阳性病例具有强大的检测能力。
• 注意力机制成功突出显示了恶性区域和难负样本块，如图3所示，体现了模型的可解释性与临床相关性。
• 通过FMB实现的难负样本挖掘，使结肠癌数据集上的F-score相比基线模型提升了4.4个百分点。