[论文解读] Histographs: Graphs in Histopathology

Shrey Gadiya, Deepak Anand+1 more|arXiv (Cornell University)|Aug 14, 2019

AI in cancer detection参考文献 7被引用 4

一句话总结

本文提出Histographs——一种通过将细胞核表示为顶点、核间距离表示为边来建模组织病理学切片的空间图结构——使图卷积网络（GCNs）能够以与Inception-v3相当的精度对癌性与非癌性以及原位癌与浸润性乳腺癌进行分类，在BACH数据集上分别实现了93%和95%的准确率，且参数量更少。

ABSTRACT

Spatial arrangement of cells of various types, such as tumor infiltrating lymphocytes and the advancing edge of a tumor, are important features for detecting and characterizing cancers. However, convolutional neural networks (CNNs) do not explicitly extract intricate features of the spatial arrangements of the cells from histopathology images. In this work, we propose to classify cancers using graph convolutional networks (GCNs) by modeling a tissue section as a multi-attributed spatial graph of its constituent cells. Cells are detected using their nuclei in H&E stained tissue image, and each cell's appearance is captured as a multi-attributed high-dimensional vertex feature. The spatial relations between neighboring cells are captured as edge features based on their distances in a graph. We demonstrate the utility of this approach by obtaining classification accuracy that is competitive with CNNs, specifically, Inception-v3, on two tasks-cancerous versus non-cancerous and in situ versus invasive-on the BACH breast cancer dataset.

研究动机与目标

• 为解决CNN在显式捕捉组织病理学图像中细胞空间排列方面的局限性。
• 开发一种结合微观核特征与宏观空间关系的图表示方法。
• 证明应用于Histographs的GCN可实现与基于图像块的CNN相当的分类性能。
• 实现对组织结构的可解释性、多尺度分析，以提升癌症诊断能力。

提出的方法

• 通过全卷积网络在H&E染色的全切片图像上检测细胞，将细胞核作为Histograph中的顶点。
• 顶点特征源自捕捉核形态和染色质模式的局部图像描述符。
• 边特征基于邻近细胞核之间的欧氏距离计算，编码空间关系。
• 在Histograph上训练空间图卷积网络（GCN），以整个切片为单位进行分类，采用鲁棒的空间滤波方法处理异构图结构。
• 该框架将整个组织切片作为单一图进行处理，避免了传统CNN中使用的图像块聚合策略。
• 模型在BACH数据集上针对两项分类任务进行端到端的监督训练。

实验结果

研究问题

• RQ1 基于图的组织病理学切片表示能否同时捕捉与癌症诊断相关的微观与宏观结构特征？
• RQ2 应用于Histographs的GCN在全切片图像上的分类准确率是否可与最先进CNN相媲美？
• RQ3 Histographs与GCNs能否有效区分原位癌与浸润性癌，二者主要差异在于组织结构？
• RQ4 与手工设计的图特征相比，GCN方法在组织病理学分类中是否更具鲁棒性或泛化能力？

主要发现

• GCN在Histographs上的癌性与非癌性分类任务中达到93%的准确率，与Inception-v3性能相当。
• 在更具挑战性的原位癌与浸润性癌分类任务中，GCN达到95%的准确率，略高于Inception-v3的94%。
• GCN模型仅使用1800万个可训练参数，远低于Inception-v3的2300万个，表明参数效率更高。
• GCN直接将整个切片作为单一图进行分类，无需像CNN那样依赖图像块层面的聚合策略。
• Histograph框架通过潜在突出影响分类决策的子图，支持可解释性分析。
• 该方法通过将组织结构建模为多属性图，证明了在组织病理学数据上应用几何深度学习的可行性。