[论文解读] Interpretable histopathology-based prediction of disease relevant features in Inflammatory Bowel Disease biopsies using weakly-supervised deep learning

Ricardo Mokhtari, Azam Hamidinekoo+13 more|arXiv (Cornell University)|Mar 20, 2023

Tuberculosis Research and EpidemiologyMedicine被引用 3

一句话总结

本研究开发了可解释的弱监督深度学习模型，仅使用内镜标签即可预测炎症性肠病（IBD）活检中的疾病相关组织病理学特征。通过利用自监督预训练和注意力图，模型在区分克罗恩病与溃疡ative结肠炎的分类任务中取得了高达0.87的AUC，并与病理科医生验证的炎症程度高度相关，从而实现严重病例的自动化优先处理及临床试验中患者的优化分层。

ABSTRACT

Crohn's Disease (CD) and Ulcerative Colitis (UC) are the two main Inflammatory Bowel Disease (IBD) types. We developed deep learning models to identify histological disease features for both CD and UC using only endoscopic labels. We explored fine-tuning and end-to-end training of two state-of-the-art self-supervised models for predicting three different endoscopic categories (i) CD vs UC (AUC=0.87), (ii) normal vs lesional (AUC=0.81), (iii) low vs high disease severity score (AUC=0.80). We produced visual attention maps to interpret what the models learned and validated them with the support of a pathologist, where we observed a strong association between the models' predictions and histopathological inflammatory features of the disease. Additionally, we identified several cases where the model incorrectly predicted normal samples as lesional but were correct on the microscopic level when reviewed by the pathologist. This tendency of histological presentation to be more severe than endoscopic presentation was previously published in the literature. In parallel, we utilised a model trained on the Colon Nuclei Identification and Counting (CoNIC) dataset to predict and explore 6 cell populations. We observed correlation between areas enriched with the predicted immune cells in biopsies and the pathologist's feedback on the attention maps. Finally, we identified several cell level features indicative of disease severity in CD and UC. These models can enhance our understanding about the pathology behind IBD and can shape our strategies for patient stratification in clinical trials.

研究动机与目标

• 开发可解释的深度学习模型，仅使用内镜标签预测IBD活检中的组织病理学特征，避免依赖昂贵的全切片图像标注。
• 探究弱监督学习是否能有效将克罗恩病和溃疡性结肠炎的内镜表现与潜在组织学特征关联起来。
• 通过与病理科医生合作验证模型预测结果，利用注意力图定位炎症区域，并与专家组织学评估结果进行相关性分析。
• 探索预训练的CoNIC模型在细胞类型预测中的应用价值，并评估其与注意力图的空间一致性及临床相关性。
• 通过按预测严重程度对活检样本进行排序并利用注意力图突出显示病变区域，实现病理科医生工作流程的提速与优化。

提出的方法

• 在SPARC IBD数据集的1,394张全切片图像上，对两种最先进的自监督模型——DSMIL和HIPT进行微调和端到端训练，使用内镜标签作为弱监督信号。
• 在SPARC IBD数据集上进行自监督预训练，以学习有意义的组织学嵌入表示，相较于ImageNet或TCGA的预训练方式，显著提升了下游任务性能。
• 利用模型生成的注意力图定位感兴趣区域，并由病理科医生验证其与组织学炎症模式的一致性。
• 利用预训练的CoNIC模型预测活检组织中六种免疫细胞群的分布，并与注意力图对比，评估其空间一致性。
• 在三个任务上评估模型性能：(i) 克罗恩病与溃疡性结肠炎分类，(ii) 正常组织与病损组织分类，(iii) 内镜严重程度评分的低 vs. 高分。
• 针对特定组织亚集（如仅结肠或仅回肠活检）进行消融实验，以评估性能差异及临床适用性。

实验结果

研究问题

• RQ1 仅基于内镜标签进行弱监督训练的深度学习模型，能否准确预测IBD活检中的组织病理学特征？
• RQ2 这些模型生成的注意力图是否能定位与病理科医生验证的组织学炎症模式一致的炎症区域？
• RQ3 CoNIC模型预测的免疫细胞群分布与注意力图及病理科医生对炎症的描述相比，空间一致性如何？
• RQ4 在SPARC IBD数据集上进行端到端微调是否优于从外部数据集（如TCGA）迁移学习的性能？
• RQ5 这些模型是否可用于按预测严重程度对活检样本进行优先排序，并引导病理科医生关注最严重病变区域？

主要发现

• HIPT-E2E模型在区分克罗恩病与溃疡性结肠炎的任务中取得了最高的AUC（0.87），显著优于DSMIL-E2E模型（p < 0.0001）。
• 在正常组织与病损组织分类任务中，HIPT-E2E模型AUC达到0.81，注意力图与病理科医生标注的炎症区域之间的Dice系数为0.625。
• 在内镜严重程度评分任务中，HIPT-E2E模型对克罗恩病和溃疡性结肠炎的AUC均为0.80，表明其具有强大的预测能力。
• 中性粒细胞占所有细胞的比例是溃疡性结肠炎中最显著的组织学特征（p = 0.0007），而嗜酸性粒细胞比例在克罗恩病中最具指示性（p = 0.0002）。
• 在SPARC IBD数据集上进行端到端训练的性能优于使用预训练权重进行微调，表明领域特定的自监督预训练能提升特征学习效果。
• 仅在溃疡性结肠炎或仅在结肠活检上进行训练时性能提升，但在仅回肠活检子集上性能下降，可能由于数据量有限及组织形态学复杂性更高。