[论文解读] HoVer-Trans: Anatomy-aware HoVer-Transformer for ROI-free Breast Cancer Diagnosis in Ultrasound Images

Yuhao Mo, Chu Han+15 more|arXiv (Cornell University)|May 17, 2022

AI in cancer detection被引用 6

一句话总结

本文提出HoVer-Trans，一种新型的无感兴趣区域（ROI-free）基于Transformer的模型，用于超声图像中的乳腺癌诊断，通过水平和垂直空间注意力整合了解剖先验知识。通过利用补丁、水平条带和垂直条带嵌入，该模型在仅使用单张超声图像的情况下，实现了最先进的分类性能，并生成高度可解释的注意力图，优于所有深度学习基线模型及资深超声医师。

ABSTRACT

Ultrasonography is an important routine examination for breast cancer diagnosis, due to its non-invasive, radiation-free and low-cost properties. However, the diagnostic accuracy of breast cancer is still limited due to its inherent limitations. It would be a tremendous success if we can precisely diagnose breast cancer by breast ultrasound images (BUS). Many learning-based computer-aided diagnostic methods have been proposed to achieve breast cancer diagnosis/lesion classification. However, most of them require a pre-define ROI and then classify the lesion inside the ROI. Conventional classification backbones, such as VGG16 and ResNet50, can achieve promising classification results with no ROI requirement. But these models lack interpretability, thus restricting their use in clinical practice. In this study, we propose a novel ROI-free model for breast cancer diagnosis in ultrasound images with interpretable feature representations. We leverage the anatomical prior knowledge that malignant and benign tumors have different spatial relationships between different tissue layers, and propose a HoVer-Transformer to formulate this prior knowledge. The proposed HoVer-Trans block extracts the inter- and intra-layer spatial information horizontally and vertically. We conduct and release an open dataset GDPH&SYSUCC for breast cancer diagnosis in BUS. The proposed model is evaluated in three datasets by comparing with four CNN-based models and two vision transformer models via five-fold cross validation. It achieves state-of-the-art classification performance with the best model interpretability. In the meanwhile, our proposed model outperforms two senior sonographers on the breast cancer diagnosis when only one BUS image is given.

研究动机与目标

• 开发一种临床可解释的、无ROI的深度学习模型，用于超声图像中的乳腺癌诊断。
• 将解剖先验知识——特别是乳腺组织层之间的空间关系——整合到模型架构中。
• 通过生成反映病灶-组织层相互作用的注意力图，解决黑箱模型在临床实践中应用的局限性。
• 发布一个大规模、开放的多中心数据集（GDPH&SYSUCC），以支持未来在乳腺超声诊断领域的研究。
• 仅使用单张超声图像，实现超越专家超声医师的诊断准确率。

提出的方法

• HoVer-Trans模型采用CNN与视觉Transformer组件相结合的混合架构，其创新的HoVer-Trans模块能够捕捉层间（水平）和层内（垂直）的空间依赖关系。
• 引入三种嵌入方法：补丁嵌入用于局部特征，水平条带嵌入用于层间空间上下文，垂直条带嵌入用于跨层的结构连续性。
• 在Transformer阶段之间集成卷积层，以增强特征融合与稳定性，提升注意力图质量与分类准确率。
• 通过将注意力机制结构化为强调导管层（肿瘤常见起源）与深层结构（肌肉、胸壁）之间的空间关系，编码解剖先验。
• 在三个数据集上，包括新发布的包含2,405张完整乳腺超声图像的GDPH&SYSUCC数据集，采用五折交叉验证进行端到端训练。
• 通过可视化注意力图增强可解释性，突出显示肿瘤与组织层之间的相互作用，与放射科诊断推理一致。

实验结果

研究问题

• RQ1 无ROI的深度学习模型是否能在保持临床可解释性的同时，实现乳腺超声图像中更优的诊断性能？
• RQ2 如何在视觉Transformer架构中有效编码关于组织层关系的解剖先验知识？
• RQ3 与标准Transformer或CNN相比，集成水平和垂直空间注意力是否能提升分类准确率与注意力图质量？
• RQ4 当仅提供单张超声图像时，所提出的模型是否能超越专家超声医师的诊断表现？
• RQ5 不同的嵌入配置（补丁、水平、垂直）如何影响模型性能与可解释性？

主要发现

• HoVer-Trans模型在三个数据集上均达到最先进的分类性能，优于四种基于CNN的模型和两个视觉Transformer基线模型。
• 当仅提供单张超声图像时，该模型在诊断准确率上显著优于两名资深超声医师。
• 消融研究证实，结合水平与垂直注意力及1×1卷积层的配置，能产生最准确且可解释的注意力图。
• 最优配置采用2×2分辨率的补丁嵌入，以及分别对应2×宽度和2×高度分辨率的水平/垂直条带嵌入。
• 该模型即使在无ROI标注的情况下仍保持高性能，通过利用全图像上下文，提升对病灶-组织层关系的理解。
• GDPH&SYSUCC数据集（来自两个中心的2,405张图像）的发布，为未来乳腺超声诊断研究提供了宝贵资源。