[论文解读] Privacy-preserving Federated Brain Tumour Segmentation

Wenqi Li, Fausto Milletarì+9 more|arXiv (Cornell University)|Oct 2, 2019

Privacy-Preserving Technologies in Data参考文献 11被引用 63

一句话总结

该论文实现并评估一个隐私保护的联邦学习系统，用于在 BraTS 数据上的脑肿瘤分割，使用选择性参数共享和差分隐私来减轻数据泄露风险，同时比较动量处理与部分模型共享。

ABSTRACT

Due to medical data privacy regulations, it is often infeasible to collect and share patient data in a centralised data lake. This poses challenges for training machine learning algorithms, such as deep convolutional networks, which often require large numbers of diverse training examples. Federated learning sidesteps this difficulty by bringing code to the patient data owners and only sharing intermediate model training updates among them. Although a high-accuracy model could be achieved by appropriately aggregating these model updates, the model shared could indirectly leak the local training examples. In this paper, we investigate the feasibility of applying differential-privacy techniques to protect the patient data in a federated learning setup. We implement and evaluate practical federated learning systems for brain tumour segmentation on the BraTS dataset. The experimental results show that there is a trade-off between model performance and privacy protection costs.

研究动机与目标

• 在不共享原始就诊数据的前提下，推动跨机构的脑肿瘤分割协作。
• 评估具有动量优化器和不平衡客户端数据的实际联邦学习设置。
• 评估选择性参数共享和差分隐私技术以保护联邦学习中的训练数据。
• 在 BraTS 2018 数据集的多机构上基准化隐私与效用的权衡。

提出的方法

• 使用客户端-服务器的联邦平均框架，集中服务器聚合加权的客户端更新。
• 探索动量处理策略，包括每轮重新启动动量与维持/聚合动量项。
• 应用选择性参数共享，仅上传部分更新，并对值进行裁剪/裁剪包装以降低泄露风险。
• 通过稀疏向量技术引入差分隐私模块以实现 (ε1+ε2+ε3)-DP。
• 在服务器端按各客户端本地迭代次数成比例加权聚合客户端更新。
• 在 BraTS 2018 多模态 MRI 数据上进行评估，包含 13 机构分割与 242 个训练样本。

实验结果

研究问题

• RQ1 在联邦学习中使用隐私保护技术是否能提供与集中训练相当的分割性能？
• RQ2 动量处理策略对联邦模型收敛性和性能有何影响？
• RQ3 部分模型共享对隐私、通信成本和分割精度有何影响？
• RQ4 在医学图像分割中，差分隐私参数与模型性能之间存在哪些权衡？

主要发现

• 在某些隐私设置下，联邦学习的分割性能可与集中基线相当。
• 在每轮联邦通信时重新启动动量优于其他动量处理变体。
• 在不平衡、多客户端设置中，带权的服务器聚合比简单平均有更好的收敛性。
• 分享更多模型的分数通常能提升性能，但部分共享（低至 40%）也能达到近基线的结果。
• 更强的差分隐私（更高的隐私代价）会降低分割精度，在同一差分隐私设置下，10% 的模型共享比 40% 的模型共享表现更好。