[论文解读] HistoCartography: A Toolkit for Graph Analytics in Digital Pathology

Guillaume Jaume, Pushpak Pati+3 more|arXiv (Cornell University)|Jul 21, 2021

AI in cancer detection参考文献 28被引用 10

一句话总结

HistoCartography 是一个开源的 Python 工具包，通过统一图像预处理、实体图构建、基于图神经网络（GNN）的学习以及可解释性工具，实现了计算病理学中图分析的标准化。它支持高效、可复现的工作流程，用于组织成分分析，在多种组织病理学数据集上实现了分类和分割任务的最先进性能，并可在大规模全玻片图像上实现实时推理。

ABSTRACT

Advances in entity-graph based analysis of histopathology images have brought in a new paradigm to describe tissue composition, and learn the tissue structure-to-function relationship. Entity-graphs offer flexible and scalable representations to characterize tissue organization, while allowing the incorporation of prior pathological knowledge to further support model interpretability and explainability. However, entity-graph analysis requires prerequisites for image-to-graph translation and knowledge of state-of-the-art machine learning algorithms applied to graph-structured data, which can potentially hinder their adoption. In this work, we aim to alleviate these issues by developing HistoCartography, a standardized python API with necessary preprocessing, machine learning and explainability tools to facilitate graph-analytics in computational pathology. Further, we have benchmarked the computational time and performance on multiple datasets across different imaging types and histopathology tasks to highlight the applicability of the API for building computational pathology workflows.

研究动机与目标

• 解决计算病理学中基于实体图分析缺乏标准化、可重用工具的问题。
• 通过在单一 API 中统一预处理、图构建、GNN 建模和可解释性，降低采用基于图方法的技术门槛。
• 使研究人员能够在不重复开发底层组件的情况下，构建可复现、可扩展的工作流程。
• 在多个组织病理学任务和成像模式下，对基于图的方法的性能和计算效率进行基准测试。
• 通过集成病理科医生友好的解释方法（如 GraphGradCAM），提升模型的可解释性。

提出的方法

• 该工具包提供了一个标准化的 Python API，集成全玻片图像的图像预处理（如染色归一化、组织检测）和切片提取。
• 基于细胞核或超像素分割构建实体图，其中节点代表生物实体，边通过 k-NN 或空间邻近性定义。
• 使用在 $224 \times 224$ 像素切片上微调的预训练 ResNet34 提取节点特征，确保可迁移的表征。
• 图拓扑通过阈值化 k-NN 构建，$k=5$，并设置 50 像素的距离阈值，以确保空间相关性。
• 使用 PNA 和 GIN 层实现 GNN 模型（如 CG-GNN、TG-GNN、HACT-Net 和 SegGini），分类和分割任务中隐藏单元数为 64 或 128。
• 通过 GraphGradCAM 实现可解释性，该方法在训练后的 GNN 上使用事后特征归因计算节点级别的显著性图。

实验结果

研究问题

• RQ1 一个统一的开源 Python 工具包能否简化基于图的计算病理学工作流程的开发？
• RQ2 HistoCartography 中基于图的模型在多种组织病理学任务和成像类型下的性能如何？
• RQ3 该工具包在不同放大倍数和尺寸的大规模全玻片图像上，多大程度上支持实时推理？
• RQ4 具有病理科医生可解释的解释的基于图的模型能否在诊断任务中超越传统的 CNN 方法？
• RQ5 整合先验生物学知识（如细胞核、腺体）在多大程度上能提升模型的可解释性和临床相关性？

主要发现

• 在 BRACS 数据集上，使用 HACT-Net 进行肿瘤分类，HistoCartography 达到了 61.5±0.9 的加权 F1 分数，优于基线模型。
• 在 BACH 数据集上，该工具包在肿瘤区域感兴趣区域（TRoI）输入下，实现了 90.7±0.5 的加权 F1 分数，展现出在乳腺癌分类任务中的强大性能。
• 在前列腺癌分割任务中，SegGini 在 TMA 图像上的 Dice 分数达到 66.0±3.1，在 UZH 和 SICAPv2 数据集的全玻片图像上达到 44.3±2.0。
• 该工具包实现了对最大达 $121 \times 10^6$ 像素图的近实时推理，证明了其在全玻片图像上的可扩展性。
• GraphGradCAM 通过突出每幅图像中最重要的十个细胞核，提供了病理科医生可解释的解释，提升了模型的透明度。
• 基准测试结果证实，结合 GNN 的实体图能够有效建模组织成分，并在多个任务中优于传统的 CNN 基线方法。