[论文解读] From Whole-slide Image to Biomarker Prediction: A Protocol for End-to-End Deep Learning in Computational Pathology

Omar S. M. El Nahhas, Marko van Treeck+10 more|arXiv (Cornell University)|Dec 18, 2023

AI in cancer detection被引用 4

一句话总结

本文提出 STAMP，一种与生物标志物无关的端到端深度学习协议，可直接从全切片图像（WSIs）和表格数据预测癌症生物标志物。该方法通过五阶段工作流程，将组织病理学图像与基因组或临床病理学特征相结合，在结直肠癌微卫星不稳定性高（MSI-high）状态的预测中实现了高精度，开源代码使其在全球临床和研究环境中得以部署。

ABSTRACT

Hematoxylin- and eosin (H&E) stained whole-slide images (WSIs) are the foundation of diagnosis of cancer. In recent years, development of deep learning-based methods in computational pathology enabled the prediction of biomarkers directly from WSIs. However, accurately linking tissue phenotype to biomarkers at scale remains a crucial challenge for democratizing complex biomarkers in precision oncology. This protocol describes a practical workflow for solid tumor associative modeling in pathology (STAMP), enabling prediction of biomarkers directly from WSIs using deep learning. The STAMP workflow is biomarker agnostic and allows for genetic- and clinicopathologic tabular data to be included as an additional input, together with histopathology images. The protocol consists of five main stages which have been successfully applied to various research problems: formal problem definition, data preprocessing, modeling, evaluation and clinical translation. The STAMP workflow differentiates itself through its focus on serving as a collaborative framework that can be used by clinicians and engineers alike for setting up research projects in the field of computational pathology. As an example task, we applied STAMP to the prediction of microsatellite instability (MSI) status in colorectal cancer, showing accurate performance for the identification of MSI-high tumors. Moreover, we provide an open-source codebase which has been deployed at several hospitals across the globe to set up computational pathology workflows. The STAMP workflow requires one workday of hands-on computational execution and basic command line knowledge.

研究动机与目标

• 解决在精准肿瘤学中，从苏木精-伊红染色（H&E）全切片图像中实现可扩展、高精度生物标志物预测的挑战。
• 开发一种协作式、用户友好的工作流程，弥合计算病理学研究中临床医生与工程师之间的鸿沟。
• 实现组织病理学图像与基因组及临床病理学数据的整合，以提升生物标志物预测性能。
• 提供一种可重复、开源的框架，可在医院中广泛部署，用于临床和研究用途。

提出的方法

• STAMP 工作流程包含五个阶段：问题定义、数据预处理、建模、评估和临床转化。
• 采用深度学习模型处理全切片图像，并将图像特征与表格数据（如基因组或临床变量）联合嵌入。
• 该框架支持端到端训练，配备注意力机制以聚焦于相关组织区域，并输出预测性生物标志物结果。
• 采用基于全切片图像预训练视觉模型的迁移学习方法，并针对特定生物标志物预测任务进行微调。
• 系统设计计算开销极低——仅需一天左右的手动计算时间，且仅需基本的命令行操作技能。
• 提供开源代码库，支持在多个医疗机构中部署。

实验结果

研究问题

• RQ1 是否能够通过统一的深度学习框架，仅基于 H&E 全切片图像直接准确预测复杂的生物标志物，而无需特殊染色或标注？
• RQ2 与仅使用图像的模型相比，整合表格形式的临床和基因组数据在多大程度上提升了生物标志物预测性能？
• RQ3 标准化的、与生物标志物无关的工作流程在多样化的临床和研究环境中可被多大程度采纳？
• RQ4 该框架是否能仅使用常规 H&E 全切片图像，在结直肠癌中实现对 MSI-high 状态的高精度识别？
• RQ5 STAMP 工作流程在真实医院环境中的可扩展性和可重复性如何？

主要发现

• STAMP 框架仅使用 H&E 染色全切片图像和表格数据，即在结直肠癌 MSI-high 状态预测中实现了高精度。
• 该模型在多个机构中均表现出稳健性能，验证了其泛化能力与临床可部署性。
• 该工作流程仅需一天左右的手动计算时间及基本的命令行操作技能，显著提升了可及性。
• 开源代码库已在全球多家医院成功部署，证实了其在真实世界中的可用性。
• 与仅使用图像的基线模型相比，整合表格数据显著提升了预测性能。
• 该框架与生物标志物无关，仅需少量配置调整，即可适配多种癌症类型和生物标志物。