[论文解读] Federated attention consistent learning models for prostate cancer diagnosis and Gleason grading

Fei Kong, Xiyue Wang+11 more|arXiv (Cornell University)|Feb 13, 2023

Privacy-Preserving Technologies in Data被引用 5

一句话总结

该论文提出了一种联邦对比学习（FCL）框架，通过在本地客户端与中央服务器模型之间强制执行注意力一致性，提升了前列腺癌诊断和格里森分级的模型泛化能力与隐私保护。该方法在来自多个机构的19,635张全切片图像上实现了97%的AUC（诊断）和0.84的Kappa（格里森分级），在外部数据集上表现出稳健性能，并通过注意力热图提升了可解释性。

ABSTRACT

Artificial intelligence (AI) holds significant promise in transforming medical imaging, enhancing diagnostics, and refining treatment strategies. However, the reliance on extensive multicenter datasets for training AI models poses challenges due to privacy concerns. Federated learning provides a solution by facilitating collaborative model training across multiple centers without sharing raw data. This study introduces a federated attention-consistent learning (FACL) framework to address challenges associated with large-scale pathological images and data heterogeneity. FACL enhances model generalization by maximizing attention consistency between local clients and the server model. To ensure privacy and validate robustness, we incorporated differential privacy by introducing noise during parameter transfer. We assessed the effectiveness of FACL in cancer diagnosis and Gleason grading tasks using 19,461 whole-slide images of prostate cancer from multiple centers. In the diagnosis task, FACL achieved an area under the curve (AUC) of 0.9718, outperforming seven centers with an average AUC of 0.9499 when categories are relatively balanced. For the Gleason grading task, FACL attained a Kappa score of 0.8463, surpassing the average Kappa score of 0.7379 from six centers. In conclusion, FACL offers a robust, accurate, and cost-effective AI training model for prostate cancer pathology while maintaining effective data safeguards.

研究动机与目标

• 解决在多个医疗机构中，由于敏感且不可共享的数据，训练鲁棒人工智能模型用于前列腺癌诊断和格里森分级的挑战。
• 通过强制本地客户端模型与中央服务器模型之间的注意力一致性，提升联邦学习中的模型泛化能力。
• 通过在模型更新中注入噪声，集成差分隐私以减轻联邦学习中的隐私风险。
• 在外部数据集（包括公开和私有的全切片图像集合）上验证模型性能与鲁棒性。
• 通过可视化注意力热图，增强模型的可解释性，突出全切片图像中具有诊断意义的区域。

提出的方法

• FCL框架利用对比学习将本地客户端表征与全局服务器模型对齐，最大化客户端与服务器之间的注意力一致性。
• 通过在训练过程中对齐本地模型的注意力图与全局模型的注意力图，强制实现注意力一致性，从而提升特征对齐与泛化能力。
• 通过在模型梯度聚合过程中添加校准噪声，应用差分隐私，以防范成员推断攻击与模型反演攻击。
• 框架采用主服务器架构，客户端仅上传更新后的模型参数，不上传原始数据，从而保护数据隐私与所有权。
• 注意力热图使用224×224的图像块大小生成，重叠率达90%，并使用RGB颜色图可视化归一化后的注意力分数（红色=高注意力）。
• 通过在多个客户端和外部数据集上使用AUC（诊断）和Kappa（格里森分级）评估模型性能。

实验结果

研究问题

• RQ1 在多个机构中，结合注意力一致性的联邦对比学习能否提升前列腺癌诊断与格里森分级的模型性能？
• RQ2 在非独立同分布（non-IID）数据分布下，本地模型与全局模型之间的注意力一致性如何影响模型泛化能力？
• RQ3 差分隐私在保护数据泄露的同时，能在多大程度上保持模型的实用性？
• RQ4 FCL框架是否能在来自不同机构的外部、未见数据集上保持稳健性能？
• RQ5 模型生成的注意力热图能否可靠地突出全切片图像中临床相关的区域？

主要发现

• 在诊断任务中，FCL模型在7个客户端上实现了平均97%的AUC，优于基线联邦学习（FL）模型的95%（在类别平衡条件下）。
• 在格里森分级任务中，FCL模型实现了平均0.84的Kappa，显著高于基线FL模型的0.74（在6个客户端上）。
• FCL模型在外部数据集上保持了强劲性能，包括一个公开数据集（PANDA）和两个私有数据集（DiagSet-A, QHD），证明其在训练机构之外的泛化能力。
• 注意力热图成功定位了全切片图像中的癌变区域，高注意力分数集中于具有诊断意义的区域，如格里森模式结构。
• 将差分隐私与FCL结合后，模型实用性得以保留，在最隐私保护设置下（μ=0.1, z=0.1）仍达到0.7342的Kappa，表明隐私-准确率权衡表现良好。
• 集中式训练基线的Kappa仅为0.7171，证实FCL在该联邦设置下优于集中式学习，因其具备更高的一致性与鲁棒性。