[论文解读] Multi-modal AI for comprehensive breast cancer prognostication

Jan Witowski, Ke‐Wu Zeng+49 more|arXiv (Cornell University)|Oct 28, 2024

AI in cancer detection被引用 4

一句话总结

本研究提出了一种多模态人工智能模型，整合数字病理图像与临床数据，以改善乳腺癌复发预测。该AI模型基于视觉Transformer基础模型处理全切片图像，并结合临床变量，在外部验证中实现了0.71的C指数，优于Oncotype DX（C指数0.61），并在所有主要亚型中均显示出独立的预后价值，包括三阴性乳腺癌（TNBC）。

ABSTRACT

Treatment selection in breast cancer is guided by molecular subtypes and clinical characteristics. However, current tools including genomic assays lack the accuracy required for optimal clinical decision-making. We developed a novel artificial intelligence (AI)-based approach that integrates digital pathology images with clinical data, providing a more robust and effective method for predicting the risk of cancer recurrence in breast cancer patients. Specifically, we utilized a vision transformer pan-cancer foundation model trained with self-supervised learning to extract features from digitized H&E-stained slides. These features were integrated with clinical data to form a multi-modal AI test predicting cancer recurrence and death. The test was developed and evaluated using data from a total of 8,161 female breast cancer patients across 15 cohorts originating from seven countries. Of these, 3,502 patients from five cohorts were used exclusively for evaluation, while the remaining patients were used for training. Our test accurately predicted our primary endpoint, disease-free interval, in the five evaluation cohorts (C-index: 0.71 [0.68-0.75], HR: 3.63 [3.02-4.37, p<0.001]). In a direct comparison (n=858), the AI test was more accurate than Oncotype DX, the standard-of-care 21-gene assay, achieving a C-index of 0.67 [0.61-0.74] versus 0.61 [0.49-0.73], respectively. Additionally, the AI test added independent prognostic information to Oncotype DX in a multivariate analysis (HR: 3.11 [1.91-5.09, p<0.001)]). The test demonstrated robust accuracy across major molecular breast cancer subtypes, including TNBC (C-index: 0.71 [0.62-0.81], HR: 3.81 [2.35-6.17, p=0.02]), where no diagnostic tools are currently recommended by clinical guidelines. These results suggest that our AI test improves upon the accuracy of existing prognostic tests, while being applicable to a wider range of patients.

研究动机与目标

• 开发一种全面的多模态AI系统，用于乳腺癌预后评估，整合数字病理与临床数据。
• 克服当前基因组检测方法的局限性，这些方法仅适用于激素受体阳性（HR+）患者，且准确性有限。
• 改善所有乳腺癌亚型（包括TNBC）的复发风险预测，后者目前尚无标准诊断工具。
• 创建一种可扩展、可访问的工具，通过整合常规获取的临床与组织病理学数据，增强个性化治疗决策。
• 通过独立的外部验证，在多样化、跨国患者队列中验证模型的稳健性与泛化能力。

提出的方法

• 基于视觉Transformer的基础模型Kestrel，利用来自泛癌数据集的4亿张病理图像切片，通过自监督学习进行预训练。
• 使用Kestrel对全切片图像进行嵌入，通过平均/最大池化及门控注意力机制的多实例学习（MIL）方法聚合切片级特征，用于生存时间建模。
• 采用Cox比例风险模型与离散时间生存模型进行生存时间预测，损失函数采用L1/L2正则化以防止过拟合。
• 临床变量（如年龄、ER/PR/HER2状态、T/N分期）通过CatBoost处理，采用AFT损失函数及三种分布假设（正态分布、逻辑分布、极值分布）。
• 将病理与临床嵌入向量拼接后，输入最终的多模态风险评分模型，该模型在来自六个国家十个人群队列的4,659名患者数据上进行训练。
• 模型性能在来自五个独立队列的3,502名患者中进行评估，涵盖HR+与TNBC亚型，完成外部验证并直接与Oncotype DX进行比较。

实验结果

研究问题

• RQ1 与当前标准的基因组检测方法相比，结合数字病理图像与临床数据的多模态AI模型是否能改善乳腺癌复发风险预测？
• RQ2 该AI模型是否在已知临床与基因组因素（包括Oncotype DX）之外，提供独立的预后价值？
• RQ3 该模型是否能在多样化人群与乳腺癌亚型（包括尚无标准预后工具的TNBC）中实现泛化？
• RQ4 在区分度（C指数）与复发风险比方面，该AI模型与Oncotype DX相比表现如何？
• RQ5 在大规模病理数据集上进行自监督预训练，是否能提升特征提取能力并改善下游预后性能？

主要发现

• 该多模态AI模型在五个外部验证队列中对无病生存期的预测C指数达到0.71（95%置信区间：0.68–0.75），表现出优异的区分能力。
• 与Oncotype DX（N=858）的直接比较显示，AI模型优于标准检测方法，C指数分别为0.67（0.61–0.74）与0.61（0.49–0.73）。
• 在多变量分析中，AI模型在Oncotype DX之外提供了独立的预后信息，高危与低危患者的风险比为3.11（95%置信区间：1.91–5.09，p<0.01）。
• 该模型在所有主要亚型中均保持高性能，包括TNBC，其C指数为0.71（0.62–0.81），复发风险比为3.81（2.35–6.17，p=0.02）。
• 模型在多个数据集（包括美国、欧洲与亚洲）中表现一致，证实其稳健性与泛化能力。
• 将自监督病理表征学习与临床数据结合，显著提升了风险分层能力，尤其在TNBC等未被充分覆盖的亚型中表现突出。