[论文解读] Robust Aggregation for Adaptive Privacy Preserving Federated Learning in Healthcare

Matei Grama, Maria Musat+4 more|arXiv (Cornell University)|Sep 17, 2020

Privacy-Preserving Technologies in Data参考文献 17被引用 28

一句话总结

本文提出了一种用于医疗应用的隐私保护联邦学习框架，结合自适应鲁棒聚合方法，融合差分隐私（DP）与k-匿名性，并采用拜占庭鲁棒聚合方法（如AFA和MKRUM）。结果表明，AFA在中毒攻击下仍能有效检测并阻止恶意或故障客户端，同时保持模型准确性，且DP对收敛的影响极小。

ABSTRACT

Federated learning (FL) has enabled training models collaboratively from multiple data owning parties without sharing their data. Given the privacy regulations of patient's healthcare data, learning-based systems in healthcare can greatly benefit from privacy-preserving FL approaches. However, typical model aggregation methods in FL are sensitive to local model updates, which may lead to failure in learning a robust and accurate global model. In this work, we implement and evaluate different robust aggregation methods in FL applied to healthcare data. Furthermore, we show that such methods can detect and discard faulty or malicious local clients during training. We run two sets of experiments using two real-world healthcare datasets for training medical diagnosis classification tasks. Each dataset is used to simulate the performance of three different robust FL aggregation strategies when facing different poisoning attacks. The results show that privacy preserving methods can be successfully applied alongside Byzantine-robust aggregation techniques. We observed in particular how using differential privacy (DP) did not significantly impact the final learning convergence of the different aggregation strategies.

研究动机与目标

• 解决标准联邦学习在医疗环境中对恶意或故障客户端的脆弱性问题。
• 评估差分隐私与k-匿名性在医疗数据联邦学习中与鲁棒聚合技术的集成效果。
• 研究隐私保护方法对中毒攻击下全局模型鲁棒性与收敛性的影响。
• 开发并发布一个统一的开源框架，以支持隐私保护联邦学习的可重现实验。

提出的方法

• 该框架采用中心服务器与多个客户端（医院）的架构，各客户端在私有医疗数据上训练本地模型，且不共享原始数据。
• 本地模型参数通过鲁棒聚合方法（如FedAvg、AFA、MKRUM和COMED）进行聚合，其中AFA根据模型相似性动态调整客户端权重。
• 通过向模型更新添加校准噪声实施差分隐私，以保护个体数据；同时通过泛化属性值实现k-匿名性，降低重新识别风险。
• 通过引入故障或恶意客户端发送对抗性模型更新，模拟中毒攻击，以干扰全局模型的学习过程。
• 在两个真实世界数据集（Pima Indians Diabetes与Cleveland Heart Disease）上进行实验，采用包含三层全连接层的神经网络。
• 通过多轮联邦训练中的准确率与误差率评估模型性能，并在训练曲线中标记异常客户端的检测结果。

实验结果

研究问题

• RQ1 差分隐私如何影响医疗应用中鲁棒联邦聚合的收敛性与准确性？
• RQ2 如AFA与MKRUM等鲁棒聚合方法能否有效检测并缓解恶意或故障客户端在医疗数据联邦学习中的影响？
• RQ3 k-匿名性是否能提升标准与鲁棒聚合方法在数据中毒攻击下的鲁棒性？
• RQ4 在不同大小与数据分布的数据库中，模型性能与客户端检测结果如何变化？

主要发现

• AFA在两个数据集中均显著优于其他聚合方法，在中毒攻击下实现最低误差率（约9%），并成功检测与阻止恶意及故障客户端。
• 差分隐私对模型收敛影响极小，所有聚合策略下准确率均无显著下降，表明其与隐私保护联邦学习具有高度兼容性。
• k-匿名性在更大的糖尿病数据集中提升了鲁棒性，但在较小的心脏病数据集中未能改善性能，表明其对数据规模与分布敏感。
• MKRUM在心脏病数据集的DP环境下收敛困难，而AFA与COMED保持稳定性能，表明不同方法对隐私机制的敏感性存在差异。
• 在心脏病实验中，AFA成功检测并阻止了三个可疑客户端（两个恶意，一个故障），且因罕见地阻断良性客户端，对收敛仅造成轻微影响。
• 语法方法（k-匿名性）结果不一：在大数据集中有效，但在小数据集中无效，可能因数据多样性降低与泛化噪声增加所致。