[论文解读] Fed-Sim: Federated Simulation for Medical Imaging

Daiqing Li, Amlan Kar+3 more|arXiv (Cornell University)|Sep 1, 2020

Generative Adversarial Networks and Image Synthesis参考文献 5被引用 6

一句话总结

Fed-Sim 提出了一种用于医学影像的联邦模拟框架，通过基于生成对抗网络（GAN）的生成模型，将解剖结构形状与成像材料属性解耦，从而在不同医院之间实现鲁棒的分割。通过在去中心化的数据上进行训练并模拟分布外情况，该方法实现了最先进的泛化性能，其中 Ours-Sim-FL 在模拟的跨医院数据上达到 87.95% 的平均 Dice 系数。

ABSTRACT

Labelling data is expensive and time consuming especially for domains such as medical imaging that contain volumetric imaging data and require expert knowledge. Exploiting a larger pool of labeled data available across multiple centers, such as in federated learning, has also seen limited success since current deep learning approaches do not generalize well to images acquired with scanners from different manufacturers. We aim to address these problems in a common, learning-based image simulation framework which we refer to as Federated Simulation. We introduce a physics-driven generative approach that consists of two learnable neural modules: 1) a module that synthesizes 3D cardiac shapes along with their materials, and 2) a CT simulator that renders these into realistic 3D CT Volumes, with annotations. Since the model of geometry and material is disentangled from the imaging sensor, it can effectively be trained across multiple medical centers. We show that our data synthesis framework improves the downstream segmentation performance on several datasets. Project Page: https://nv-tlabs.github.io/fed-sim/ .

研究动机与目标

• 为解决在隐私和监管限制下难以共享数据的情况下，跨医院训练鲁棒医学图像分割模型的挑战。
• 模拟来自一所医院的患者在另一家医院扫描的情境，以模拟真实部署中的分布外情况。
• 开发一种联邦学习框架，实现在不共享原始数据的情况下协同训练，保护隐私。
• 通过在合成数据生成中将解剖结构形状与成像特性（如 CT 对比度、噪声）解耦，提升模型的泛化能力。
• 在模拟的跨医院数据上验证方法的鲁棒性，以模拟现实世界中的分布偏移。

提出的方法

• 一种解耦的 GAN 基于生成模型通过使用独立生成器将形状与材质分离到不同的潜在空间：$G_{\theta_S}$ 用于形状（通过多层感知机），$G_{\theta_M}$ 用于材质（通过带最近邻上采样的 3D 全卷积网络）。
• 形状建模使用 20 例心脏 MRI 分割图像进行主成分分析，学习具有 14 个主成分的统计形状模型，参数化为 $s \approx \tilde{s} + \Phi b$。
• 材质生成采用类似 U-Net 的架构，包含批归一化和 ReLU 激活函数，使用最近邻上采样以避免棋盘效应，生成 $16\times16\times16$ 的体积数据。
• 半监督学习使用从预训练特征拟合的多元正态分布中采样的潜在向量，对有标签和无标签数据采用独立的学习率。
• 联邦学习采用同步梯度聚合机制：客户端本地训练并发送梯度至服务器，服务器对梯度进行平均并更新全局模型。
• 该方法包含三种变体：Ours-Fix-Mat（固定材质）、Ours-Pre（预训练形状）和 Ours-Full（完整联合训练），并通过消融实验分析泛化性能。

实验结果

研究问题

• RQ1 联邦模拟框架是否能在不共享原始医学影像的情况下，提升跨医院分割的泛化能力？
• RQ2 在合成数据中对形状与材质进行解耦，在处理来自不同医院的分布外患者扫描时是否有效？
• RQ3 所提出的基于梯度聚合的联邦学习设置是否能达到与集中式训练相当的性能？
• RQ4 预训练和解耦策略的选择如何影响医学影像中对分布偏移的鲁棒性？
• RQ5 通过 GAN 生成的模拟跨医院数据是否可作为真实世界领域偏移在医学分割中的有效代理？

主要发现

• Ours-Sim-FL 在 CT34LC 上达到 87.95% 的平均 Dice 系数，在 CT34MC 上达到 87.76%，优于直接联邦学习基线（分别为 87.95% 和 87.95%）。
• Ours-Sim-FL 在 CT34LC 上达到 87.95% 的平均 Dice 系数，在 CT34MC 上达到 87.76%，表明其对未见医院的强泛化能力。
• Ours-Pre 在 CT20 上达到 76.58% 的 Dice 系数，优于单中心医院的下限 72.56%，证明了形状预训练的优势。
• Ours-Full 方法在 CT34MC 上达到 85.93% 的平均 Dice 系数，表明其在形状与材质生成方面具有更高的多样性与一致性。
• 消融实验证实，对形状与材质的解耦可带来更好的泛化性能，所有数据集上均表现出一致的性能提升。
• 该方法在所有分布外测试案例中均优于或匹配基线模型，验证了在联邦学习中使用解耦模拟的有效性。