[论文解读] HATNet: An End-to-End Holistic Attention Network for Diagnosis of Breast Biopsy Images

Sachin Mehta, Ximing Lu+4 more|arXiv (Cornell University)|Jul 25, 2020

AI in cancer detection被引用 5

一句话总结

HATNet 是一种端到端的整体注意力网络，利用自注意力机制对吉字节级乳腺活检图像进行分类，无需基于图像块的监督，从而实现全局上下文建模。它比 Y-Net 提高了 8% 的准确率，并通过学习导管和间质组织中的临床相关表征，达到了与人类病理学家相当的性能。

ABSTRACT

Training end-to-end networks for classifying gigapixel size histopathological images is computationally intractable. Most approaches are patch-based and first learn local representations (patch-wise) before combining these local representations to produce image-level decisions. However, dividing large tissue structures into patches limits the context available to these networks, which may reduce their ability to learn representations from clinically relevant structures. In this paper, we introduce a novel attention-based network, the Holistic ATtention Network (HATNet) to classify breast biopsy images. We streamline the histopathological image classification pipeline and show how to learn representations from gigapixel size images end-to-end. HATNet extends the bag-of-words approach and uses self-attention to encode global information, allowing it to learn representations from clinically relevant tissue structures without any explicit supervision. It outperforms the previous best network Y-Net, which uses supervision in the form of tissue-level segmentation masks, by 8%. Importantly, our analysis reveals that HATNet learns representations from clinically relevant structures, and it matches the classification accuracy of human pathologists for this challenging test set. Our source code is available at \\url{https://github.com/sacmehta/HATNet}

研究动机与目标

• 解决在吉字节级组织病理学图像上训练端到端深度网络的计算不可行性。
• 克服基于图像块的方法因丢失全局上下文而无法建模临床相关组织结构的局限性。
• 开发一种基于自注意力的架构，无需显式监督即可学习全局表征，从而提高诊断准确率。
• 验证模型的注意力机制是否与导管和间质等临床重要结构对齐。
• 在具有挑战性的乳腺活检图像分类任务中，实现与专家人类病理学家相当或更优的诊断性能。

提出的方法

• HATNet 将整个吉字节级活检图像视为一个‘袋’，并使用词袋框架将其划分为图像块（词）。
• 它采用分层自注意力机制，对图像块（词）之间以及图像袋（区域）之间的关系进行编码，从而实现全局上下文建模。
• 网络在应用多头自注意力之前，使用预训练的特征提取器（例如 MNASNet）生成图像块级别的嵌入。
• 通过堆叠的自注意力层学习全局图像级别的表征，聚合图像块间和袋间的关系。
• 注意力权重用于识别显著区域（例如导管和间质），而无需分割掩码或实例级标注。
• 使用标准指标（如 ROC-AUC、F1 分数和 Dice 评分）评估模型性能，以比较注意力定位与专家标注的一致性。

实验结果

研究问题

• RQ1 基于自注意力的网络是否能够在无需基于图像块或监督局部表征学习的情况下，实现对吉字节级乳腺活检图像的端到端分类？
• RQ2 HATNet 中的注意力机制是否聚焦于生物学上相关的结构，如导管区域和间质组织？
• RQ3 HATNet 在准确率和推理速度方面与 Y-Net 等最先进方法相比表现如何？
• RQ4 HATNet 的注意力图与乳腺癌诊断中经临床验证的生物标志物的相关性有多大？
• RQ5 HATNet 是否能在具有挑战性的乳腺活检图像测试集上实现与专家人类病理学家相当的诊断准确率？

主要发现

• 在相同测试集上，HATNet 比先前的最先进方法 Y-Net 提高了 8% 的分类准确率。
• 该模型在基准测试集上的诊断性能与人类病理学家相当，显示出临床相关性。
• 当使用 MNASNet 作为主干网络时，HATNet 达到了最高的 ROC-AUC 和 F1 分数，优于使用 ESPNetv2 和 MobileNetv2 的模型。
• 在将预测的前 50% 图像袋与专家标注的导管进行比较时，HATNet 对导管区域的注意力定位 Dice 评分为 0.68。
• 对于间质组织，当比较前 50% 预测的图像块时，模型的 Dice 评分为 0.75，表明其与病理学家标注的间质区域高度一致。
• 可视化结果证实，HATNet 能够有效捕捉不同大小和纹理的导管，并优先关注间质区域——这些是乳腺癌诊断中的关键生物标志物。