[论文解读] Feature based Sequential Classifier with Attention Mechanism

Sudhir Sornapudi, R. Joe Stanley+6 more|arXiv (Cornell University)|Jul 22, 2020

Handwritten Text Recognition Techniques参考文献 29被引用 6

一句话总结

该论文提出DeepCIN，一种基于注意力机制的新型序列分类器，用于利用高分辨率上皮组织图像对宫颈上皮内瘤变（CIN）进行分级。该方法通过两阶段编码器生成垂直组织片段的特征序列，模拟从基底膜到上皮表面的疾病进展过程，再利用注意力机制融合这些特征，实现对CIN分级（正常、CIN1、CIN2、CIN3）的分类，准确率媲美病理学家水平。

ABSTRACT

Cervical cancer is one of the deadliest cancers affecting women globally. Cervical intraepithelial neoplasia (CIN) assessment using histopathological examination of cervical biopsy slides is subject to interobserver variability. Automated processing of digitized histopathology slides has the potential for more accurate classification for CIN grades from normal to increasing grades of pre-malignancy: CIN1, CIN2 and CIN3. Cervix disease is generally understood to progress from the bottom (basement membrane) to the top of the epithelium. To model this relationship of disease severity to spatial distribution of abnormalities, we propose a network pipeline, DeepCIN, to analyze high-resolution epithelium images (manually extracted from whole-slide images) hierarchically by focusing on localized vertical regions and fusing this local information for determining Normal/CIN classification. The pipeline contains two classifier networks: 1) a cross-sectional, vertical segment-level sequence generator (two-stage encoder model) is trained using weak supervision to generate feature sequences from the vertical segments to preserve the bottom-to-top feature relationships in the epithelium image data; 2) an attention-based fusion network image-level classifier predicting the final CIN grade by merging vertical segment sequences. The model produces the CIN classification results and also determines the vertical segment contributions to CIN grade prediction. Experiments show that DeepCIN achieves pathologist-level CIN classification accuracy.

研究动机与目标

• 解决组织病理学切片中宫颈上皮内瘤变（CIN）分级的观察者间差异问题。
• 建模从基底膜到上皮表面的宫颈疾病空间进展过程。
• 开发一种全自动、分层的深度学习流程，用于基于全切片图像的CIN准确分类。
• 通过识别对CIN分级预测贡献最大的垂直上皮片段，实现模型可解释性。
• 在仅使用切片级标签的弱监督训练下，实现与专家病理学家相当的分类性能。

提出的方法

• 从全切片图像中提取高分辨率上皮区域，以实现聚焦分析。
• 使用两阶段编码器模型，从垂直片段生成序列特征表示，保留从下到上的空间层次结构。
• 利用切片级标签进行弱监督训练，以避免昂贵的像素级标注，从而训练片段级分类器。
• 应用基于注意力机制的融合网络，将垂直片段序列聚合为全局图像级预测结果。
• 利用注意力权重解释模型决策，突出显示对CIN分级预测有关键贡献的片段。
• 采用交叉熵损失函数，对多分类CIN分级（正常、CIN1、CIN2、CIN3）进行端到端流程优化。

实验结果

研究问题

• RQ1 通过建模垂直上皮进展过程，基于注意力机制的序列分类器能否提升CIN分级的准确性？
• RQ2 在无完整标注的情况下，弱监督在训练片段级特征提取器方面的有效性如何？
• RQ3 注意力机制在多大程度上能识别出与CIN预测相关的生物学相关区域？
• RQ4 与传统的基于补丁或全图分类方法相比，垂直片段特征的分层融合是否更具优势？
• RQ5 仅使用切片级标签，模型能否实现与病理学家相当的CIN分类准确率？

主要发现

• DeepCIN在区分正常与CIN1、CIN2、CIN3分级时，实现了与病理学家相当的分类准确率。
• 注意力机制成功识别并强调了上皮组织中具有临床意义的垂直片段，显著提升了模型的可解释性。
• 两阶段编码器模型有效保留了上皮组织中从下到上的空间关系，提升了序列分析的特征表示能力。
• 基于切片级标签的弱监督训练，使模型在无需像素级标注的情况下，仍能有效学习片段级特征。
• 通过注意力机制融合垂直片段序列，其性能优于使用全局池化或简单平均的基线方法。
• 该模型在多种全切片图像上表现出强鲁棒性和泛化能力，显示出临床部署的潜力。