[论文解读] Multi-institutional Collaborations for Improving Deep Learning-based Magnetic Resonance Image Reconstruction Using Federated Learning

Pengfei Guo, Puyang Wang+3 more|arXiv (Cornell University)|Mar 3, 2021

Privacy-Preserving Technologies in Data参考文献 41被引用 13

一句话总结

该论文提出了一种联邦学习框架（FL-MRCM），用于多机构磁共振成像（MRI）重建，通过在不同机构之间对齐潜在特征分布以克服领域偏移，实现在保护隐私的前提下进行协作。该方法在四个不同的MRI数据集上实现了最先进性能，与集中式训练基线相当。

ABSTRACT

Fast and accurate reconstruction of magnetic resonance (MR) images from under-sampled data is important in many clinical applications. In recent years, deep learning-based methods have been shown to produce superior performance on MR image reconstruction. However, these methods require large amounts of data which is difficult to collect and share due to the high cost of acquisition and medical data privacy regulations. In order to overcome this challenge, we propose a federated learning (FL) based solution in which we take advantage of the MR data available at different institutions while preserving patients' privacy. However, the generalizability of models trained with the FL setting can still be suboptimal due to domain shift, which results from the data collected at multiple institutions with different sensors, disease types, and acquisition protocols, etc. With the motivation of circumventing this challenge, we propose a cross-site modeling for MR image reconstruction in which the learned intermediate latent features among different source sites are aligned with the distribution of the latent features at the target site. Extensive experiments are conducted to provide various insights about FL for MR image reconstruction. Experimental results demonstrate that the proposed framework is a promising direction to utilize multi-institutional data without compromising patients' privacy for achieving improved MR image reconstruction. Our code will be available at https://github.com/guopengf/FLMRCM.

研究动机与目标

• 为解决基于深度学习的MRI重建中数据稀缺与隐私问题，通过在不共享原始患者数据的前提下实现多机构协作。
• 缓解联邦学习设置下因扫描仪、协议和患者人群差异导致的领域偏移问题。
• 通过在源站点与目标站点之间对齐中间潜在特征，提升联邦MRI重建模型的泛化能力。
• 证明跨机构建模可在不损害数据隐私的前提下提升联邦学习性能。

提出的方法

• 设计了一种联邦学习框架，其中每个机构在其私有数据上训练本地重建网络，并仅将模型参数发送至中央服务器。
• 引入跨机构建模组件，利用对抗性训练将源机构的潜在特征分布与目标机构对齐。
• 训练一个对抗性领域判别器以区分源域与目标域特征，促使本地网络生成领域不变的表示。
• 通过类似FedAvg的聚合方式更新全局模型，同时使用领域对抗损失对本地模型进行微调以提升对齐效果。
• 以目标机构的潜在特征作为参考分布，指导源机构的特征对齐，从而减少领域偏移。
• 端到端训练框架结合重建损失与对抗性领域损失，同时优化图像质量和领域不变性。

实验结果

研究问题

• RQ1 联邦学习能否在保护患者数据隐私的前提下，有效实现多机构MRI重建的协作？
• RQ2 机构间的领域偏移如何影响联邦MRI重建模型的泛化能力？
• RQ3 在不共享原始数据的前提下，跨机构特征对齐能否提升联邦MRI重建模型的性能？
• RQ4 所提出方法在多样化MRI数据集上的性能与集中式训练相比达到何种程度？

主要发现

• 所提出的FL-MRCM框架实现了最先进性能，在所有四个数据集（fastMRI、HPKS、IXI、BraTS）上均达到集中式训练的上限性能。
• 在HPKS数据集上，FL-MRCM将$T_2$-加权序列的SSIM从0.9001提升至0.9232，PSNR从31.29提升至32.44，表明在小规模数据集上取得了显著提升。
• 消融实验表明，跨机构建模在所有跨机构迁移任务中均持续提升性能，平均SSIM提升达0.04，PSNR提升达1.5 dB。
• t-SNE可视化证实，所提方法成功对齐了不同机构间的潜在特征，减少了领域特异性聚类，提升了泛化能力。
• 该方法优于单机构模型，并达到与在完全集中化数据上训练的模型相当的性能，验证了其在隐私保护协作中的有效性。