[论文解读] Federated and Differentially Private Learning for Electronic Health Records

Stephen Pfohl, Andrew M. Dai+1 more|arXiv (Cornell University)|Nov 13, 2019

Privacy-Preserving Technologies in Data参考文献 10被引用 44

一句话总结

简要结论：本文比较集中、联邦学习与差分私有训练在临床预测任务中的表现，使用 eICU-CRD 数据集，结果显示 DP-SGD 在集中场景有效，但在联邦设置中对隐私保护学习具有挑战性。

ABSTRACT

The use of collaborative and decentralized machine learning techniques such as federated learning have the potential to enable the development and deployment of clinical risk predictions models in low-resource settings without requiring sensitive data be shared or stored in a central repository. This process necessitates communication of model weights or updates between collaborating entities, but it is unclear to what extent patient privacy is compromised as a result. To gain insight into this question, we study the efficacy of centralized versus federated learning in both private and non-private settings. The clinical prediction tasks we consider are the prediction of prolonged length of stay and in-hospital mortality across thirty one hospitals in the eICU Collaborative Research Database. We find that while it is straightforward to apply differentially private stochastic gradient descent to achieve strong privacy bounds when training in a centralized setting, it is considerably more difficult to do so in the federated setting.

研究动机与目标

• 在不共享原始患者数据的前提下，推动跨医院进行预测建模的合作，同时解决隐私保障问题。
• 在非私有和 DP 设置下，评估集中学习与联邦学习在临床任务中的表现。
• 量化在集中和联邦环境中应用差分隐私时的隐私-效用权衡。

提出的方法

• 使用联邦平均和 DP-SGD 在来自 eICU-CRD 的 31 家医院上训练逻辑回归和一个隐藏层网络。
• 在入院后 24 小时内，从化验单/结果、药物、诊断和患者人口统计学信息构建特征。
• 比较本地、集中和联邦训练，在有/无差分隐私条件下，在两项任务上：住院内死亡率和住院时长较长的预测。
• 通过 DP 参数（epsilon、delta）评估隐私，通过 AUC-ROC（DeLong 置信区间）评估模型性能。

实验结果

研究问题

• RQ1 联邦学习在 ICU 结果预测任务上是否能达到与集中学习相近的预测性能？
• RQ2 在集中与联邦设置中，差分隐私的引入如何影响模型效用？
• RQ3 在临床数据的分布式情境下，DP-SGD 在隐私保障和准确性方面是否具有实际可行性？

主要发现

• 联邦学习通常能获得接近集中学习的 AUC-ROC，并且常常优于本地医院模型，但增益并不总是具有统计学意义。
• 差分私有的集中训练在隐私性较强（epsilon 约为 1）的前提下，仍可实现较小的 AUC-ROC 下降（如住院：0.763 相较于 0.73；死亡：0.876 相较于 0.832）。
• 在死亡预测方面，采用 DP-SGD 的联邦学习在 AUC-ROC 和隐私成本（epsilon）上往往表现较差，相较于非 DP 设置。
• 在本地数据上优化的 DP-SGD 超参数并不能直接转移到联邦设置，突显了分布式临床数据隐私-效用权衡的挑战。
• 研究强调忽视模型选择的隐私成本可能导致对隐私的乐观估计。