[论文解读] Instance-based Vision Transformer for Subtyping of Papillary Renal Cell Carcinoma in Histopathological Image

Zeyu Gao, Bangyang Hong+7 more|arXiv (Cornell University)|Jun 23, 2021

AI in cancer detection参考文献 16被引用 5

一句话总结

本文提出了一种基于实例的视觉Transformer（i-ViT），用于组织病理学图像中乳头状肾细胞癌（pRCC）的细粒度亚型分类，通过在核级别使用实例图像块并结合位置和分级嵌入，捕捉细微的细胞及细胞层模式。该方法在整体准确率上达到93.01%，显著优于基于CNN的模型和手工设计特征的方法。

ABSTRACT

Histological subtype of papillary (p) renal cell carcinoma (RCC), type 1 vs. type 2, is an essential prognostic factor. The two subtypes of pRCC have a similar pattern, i.e., the papillary architecture, yet some subtle differences, including cellular and cell-layer level patterns. However, the cellular and cell-layer level patterns almost cannot be captured by existing CNN-based models in large-size histopathological images, which brings obstacles to directly applying these models to such a fine-grained classification task. This paper proposes a novel instance-based Vision Transformer (i-ViT) to learn robust representations of histopathological images for the pRCC subtyping task by extracting finer features from instance patches (by cropping around segmented nuclei and assigning predicted grades). The proposed i-ViT takes top-K instances as input and aggregates them for capturing both the cellular and cell-layer level patterns by a position-embedding layer, a grade-embedding layer, and a multi-head multi-layer self-attention module. To evaluate the performance of the proposed framework, experienced pathologists are invited to selected 1162 regions of interest from 171 whole slide images of type 1 and type 2 pRCC. Experimental results show that the proposed method achieves better performance than existing CNN-based models with a significant margin.

研究动机与目标

• 为解决乳头状肾细胞癌（pRCC）细粒度亚型分类为1型和2型的挑战，二者具有相似的结构模式，但存在细微的细胞和细胞层差异。
• 克服传统CNN在捕捉大整张切片图像中微小、随机分布且细粒度的组织学特征方面的局限性。
• 开发一种深度学习框架，显式建模核级别特征，包括空间位置和组织学分级，以提升表征学习能力。
• 通过仅关注相关核实例而非所有图像块（如标准ViT），减少计算复杂度和背景噪声。

提出的方法

• 该方法通过在分割后的核周围裁剪区域提取实例级图像块，使用带有额外分类头的分割网络预测核的分级。
• 根据核的大小和预测的分级，选择Top-K图像块，以优先选择具有信息量的实例用于表征学习。
• 每个选定的图像块通过CNN进行嵌入，位置和分级信息通过专用的位置嵌入层和分级嵌入层进行编码。
• 多头、多层自注意力机制整合编码后的实例嵌入，使模型能够学习核之间的长距离依赖关系和关联模式。
• 该框架仅使用Top-K实例的精选输入序列，相比标准ViT，显著降低计算负载，并更聚焦于生物相关的特征。
• 模型在10个周期内采用线性学习率预热策略进行训练，主i-ViT变体的序列长度设为500。

实验结果

研究问题

• RQ1 当传统CNN因细胞和细胞层差异细微而失效时，视觉Transformer模型是否能有效学习pRCC亚型分类中的细粒度组织学模式？
• RQ2 与全局图像块处理相比，建模核级别特征（如位置、大小和分级）如何提升分类性能？
• RQ3 对于pRCC亚型分类，实例图像块大小、输入序列长度和Transformer架构规模的最佳配置是什么？
• RQ4 与处理所有图像块相比，仅聚焦于Top-K核实例在多大程度上能提升性能并减少噪声？

主要发现

• 所提出的i-ViT在pRCC亚型分类任务中达到93.01%的整体准确率，显著优于表现第二好的方法GBDT-GH（准确率为88.21%）。
• i-ViT在2型pRCC上实现了92.31%的高F1分数，表明其在更具挑战性的亚型（具有更高分级核）上表现优异。
• 模型性能对实例图像块大小和输入序列长度敏感，在P=64和N=500–1000时达到最优，而N=1500因在有限核数量下出现过拟合导致性能下降。
• 大规模（H-24-12）和中等规模（M-12-12）Transformer优于小规模（T-6-6）模型，后者因欠拟合而表现较差。
• 较小的图像块（P=16）表现更差，因其仅捕捉到部分核，导致特征表示不完整。
• 消融研究证实，整合位置和分级嵌入显著提升了模型性能，验证了基于实例的注意力机制设计的有效性。