[论文解读] Diagnose Like a Pathologist: Transformer-Enabled Hierarchical Attention-Guided Multiple Instance Learning for Whole Slide Image Classification

Conghao Xiong, Hao Chen+2 more|arXiv (Cornell University)|Jan 19, 2023

AI in cancer detection被引用 4

一句话总结

该论文提出HAG-MIL，一种基于Transformer的层次注意力引导多实例学习框架，通过在多个全切片图像（WSI）分辨率下动态识别判别区域，模拟病理科医生的多分辨率、注意力驱动诊断过程。该方法在Camelyon16、TCGA-RCC、TCGA-NSCLC以及一个内部数据集上实现了最先进性能，采用集成注意力Transformer与新颖聚合模块，实现整体包表示学习。

ABSTRACT

Multiple Instance Learning (MIL) and transformers are increasingly popular in histopathology Whole Slide Image (WSI) classification. However, unlike human pathologists who selectively observe specific regions of histopathology tissues under different magnifications, most methods do not incorporate multiple resolutions of the WSIs, hierarchically and attentively, thereby leading to a loss of focus on the WSIs and information from other resolutions. To resolve this issue, we propose a Hierarchical Attention-Guided Multiple Instance Learning framework to fully exploit the WSIs. This framework can dynamically and attentively discover the discriminative regions across multiple resolutions of the WSIs. Within this framework, an Integrated Attention Transformer is proposed to further enhance the performance of the transformer and obtain a more holistic WSI (bag) representation. This transformer consists of multiple Integrated Attention Modules, which is the combination of a transformer layer and an aggregation module that produces a bag representation based on every instance representation in that bag. The experimental results show that our method achieved state-of-the-art performances on multiple datasets, including Camelyon16, TCGA-RCC, TCGA-NSCLC, and an in-house IMGC dataset. The code is available at https://github.com/BearCleverProud/HAG-MIL.

研究动机与目标

• 解决现有全切片图像分类方法无法有效利用组织病理学切片多分辨率信息的局限，而人类病理科医生会战略性地切换放大倍数。
• 通过在多分辨率下实现动态、分层注意力，改进弱监督全切片图像分类，更有效地定位判别性图像块。
• 通过整合跨层实例级特征聚合的注意力机制，提升基于Transformer的包表示学习，增强模型鲁棒性与可解释性。
• 通过多分辨率特征融合优化注意力定位，减少假阳性，提升对小转移灶（如微转移）的检测能力。

提出的方法

• HAG-MIL框架在多个分辨率（如40×、10×）下处理全切片图像，实现跨层级的层次注意力，模拟病理科医生的检查过程。
• 提出集成注意力Transformer（IAT），结合多层Transformer与集成注意力模块（IAM），将实例表示聚合为整体包表示。
• 每个IAM层在图像块间计算注意力得分，并生成优化的包级表示，该表示通过深层网络逐步更新。
• 框架采用可微分注意力机制，支持反向传播通过整个网络，实现仅使用切片级标签的端到端训练。
• 聚合模块使用标准或门控注意力来加权实例重要性，消融研究显示门控变体性能更优。
• 模型采用弱监督学习进行训练，仅需切片级标签，推理时可动态调整top-k注意力图像块，提升定位精度。

Figure 1: An illustration of the difference between AB-MIL and the HAG-MIL framework. AB-MIL (left) only uses one resolution of the WSI, whereas the HAG-MIL framework (right) hierarchically and attentively uses multiple resolutions of the WSI. The high-attention regions are passed to the models at h

实验结果

研究问题

• RQ1 深度学习模型能否有效利用全切片图像的多分辨率信息，提升分类准确率，从而模拟人类病理科医生的诊断行为？
• RQ2 与单分辨率方法相比，多分辨率下的层次注意力在定位判别性图像块（尤其是小转移灶）方面有何提升？
• RQ3 在多实例学习中，多层注意力聚合机制在提升全切片图像包表示质量方面达到何种程度？
• RQ4 所提出的集成注意力Transformer在AUC指标与热图可解释性方面，是否优于标准Transformer与基于注意力的MIL模型？

主要发现

• HAG-MIL在Camelyon16（AUC 0.985）、TCGA-RCC（AUC 0.912）、TCGA-NSCLC（AUC 0.891）以及内部IMGC数据集（AUC 0.934）上均达到最先进AUC分数，优于现有方法。
• 在Camelyon16和TCGA-RCC上，聚合模块中的门控注意力机制分别使AUC提升1.8%和1.2%，优于标准注意力。
• 在相同数据集上，IAT模型相比基于分类标记的标准Transformer，AUC分别提升1.7%和1.1%，证明多层聚合的有效性。
• 可视化结果显示，HAG-MIL生成的热图对比度更高，且与真实标注对齐更优，尤其在微转移灶和孤立肿瘤细胞区域表现突出。
• 在推理阶段提高top-k注意力阈值可进一步提升性能，尤其在Camelyon16上（肿瘤区域小且稀疏）效果显著。
• 与CLAM-SB相比，该方法显著减少了假阳性，特别是在肿瘤负荷较低的区域，表明其在判别性图像块选择方面更具优势。

Figure 2: Overview of the HAG-MIL framework (left) and the model architecture of our proposed transformer model IAT (right). The patch images and the feature vectors bounded by red boxes are the discriminative ones and those in blue are less discriminative. The patch images cropped from different re