[论文解读] Deep Weakly-Supervised Learning Methods for Classification and Localization in Histology Images: A Survey

Jérôme Rony, Soufiane Belharbi+4 more|arXiv (Cornell University)|Sep 8, 2019

AI in cancer detection被引用 27

一句话总结

本综述提出了一种针对组织病理学图像分类与定位的深度弱监督学习方法的分类体系，将方法分为自底向上和自顶向下两类。在GlaS和CAMELYON16数据集上评估了代表性方法，发现由于CAM的激活不足、过度激活、阈值敏感性以及模型选择偏差，定位性能较差，且组织病理学专用技术优于通用自然图像方法。

ABSTRACT

Using deep learning models to diagnose cancer from histology data presents several challenges. Cancer grading and localization of regions of interest (ROIs) in these images normally relies on both image- and pixel-level labels, the latter requiring a costly annotation process. Deep weakly-supervised object localization (WSOL) methods provide different strategies for low-cost training of deep learning models. Using only image-class annotations, these methods can be trained to classify an image, and yield class activation maps (CAMs) for ROI localization. This paper provides a review of state-of-art DL methods for WSOL. We propose a taxonomy where these methods are divided into bottom-up and top-down methods according to the information flow in models. Although the latter have seen limited progress, recent bottom-up methods are currently driving much progress with deep WSOL methods. Early works focused on designing different spatial pooling functions. However, these methods reached limited localization accuracy, and unveiled a major limitation -- the under-activation of CAMs which leads to high false negative localization. Subsequent works aimed to alleviate this issue and recover complete object. Representative methods from our taxonomy are evaluated and compared in terms of classification and localization accuracy on two challenging histology datasets. Overall, the results indicate poor localization performance, particularly for generic methods that were initially designed to process natural images. Methods designed to address the challenges of histology data yielded good results. However, all methods suffer from high false positive/negative localization. Four key challenges are identified for the application of deep WSOL methods in histology -- under/over activation of CAMs, sensitivity to thresholding, and model selection.

研究动机与目标

• 通过回顾弱监督学习方法，解决组织病理学图像分析中像素级标注的高成本与复杂性问题。
• 识别并分类最先进的针对组织病理学图像的深度弱监督目标定位（WSOL）技术。
• 在公开的组织病理学数据集上评估WSOL方法的性能，重点关注分类与定位准确率。
• 分析WSOL在组织病理学中面临的关键挑战，如CAM激活不足、过度激活、阈值敏感性以及模型选择问题。
• 通过引入领域特定先验知识与更优的伪标注策略，提出改进组织病理学WSOL性能的研究方向。

提出的方法

• 提出一种新颖的分类体系，将WSOL方法划分为自底向上（自底向上的信息流）与自顶向下（自顶向下的信息流）两类方法。
• 采用标准协议在两个公开的组织病理学数据集（GlaS（结直肠癌）和CAMELYON16（乳腺癌））上评估代表性WSOL方法。
• 以类激活图（CAMs）作为定位输出，其由仅使用图像级别标签训练的深度神经网络生成。
• 应用扰动、自注意力、浅层特征、伪标注与任务解耦等技术，以缓解CAM的局限性。
• 利用预训练分类器生成像素级监督的伪标注，提升定位的鲁棒性。
• 引入两阶段训练策略：首先训练分类器，冻结其参数，再单独训练定位器，以实现分类与定位性能的解耦。

(a)

实验结果

研究问题

• RQ1 自底向上与自顶向下的深度WSOL方法在信息流与组织病理学图像上的性能表现有何差异？
• RQ2 为通用WSOL方法（专为自然图像设计）在组织病理学图像上的定位准确率泛化程度如何？
• RQ3 组织病理学WSOL中定位性能差的主要原因是什么？与自然图像领域中的挑战有何不同？
• RQ4 CAM激活不足与过度激活如何影响定位的可靠性？有哪些技术可缓解这些问题？
• RQ5 基于分类指标与定位指标进行模型选择，对组织病理学中最终WSOL性能有何影响？

主要发现

• 自底向上的WSOL方法在组织病理学图像定位任务中目前优于自顶向下的方法，这得益于注意力机制与特征精炼技术的进步。
• 专为自然图像设计的通用WSOL方法在组织病理学数据上表现出较差的定位性能，尤其因假阳性和假阴性率较高。
• CAM激活不足导致假阴性，即仅激活小范围判别区域，遗漏了更大的肿瘤区域。
• 过度激活是组织病理学中新发现的问题，由于前景与背景区域高度相似，导致假阳性。
• 引入如ROI尺寸约束等先验知识，以及利用预训练分类器生成的伪标注，可通过减少假阳性和假阴性来改善定位性能。
• 仅基于分类准确率进行模型选择会导致定位性能较差；通过解耦分类与定位训练可显著提升整体性能。

(b)