[论文解读] Distributed learning optimisation of Cox models can leak patient data: Risks and solutions

Carsten Brink, Christian Rønn Hansen+6 more|arXiv (Cornell University)|Apr 12, 2022

Privacy-Preserving Technologies in Data被引用 5

一句话总结

该论文表明，在联邦学习环境中对Cox比例风险模型进行分布式优化时，即使未传输原始数据，通过共享的模型梯度仍可能泄露患者级别的数据。作者提出了一种使用梯度裁剪和噪声注入的隐私保护优化方法，实现了差分隐私，经由MATLAB代码实现验证，该方法在处理缺失数据的同时有效保护了隐私。

ABSTRACT

Medical data are often highly sensitive, and frequently there are missing data. Due to the data's sensitive nature, there is an interest in creating modelling methods where the data are kept in each local centre to preserve their privacy, but yet the model can be trained on and learn from data across multiple centres. Such an approach might be distributed machine learning (federated learning, collaborative learning) in which a model is iteratively calculated based on aggregated local model information from each centre. However, even though no specific data are leaving the centre, there is a potential risk that the exchanged information is sufficient to reconstruct all or part of the patient data, which would hamper the safety-protecting rationale idea of distributed learning. This paper demonstrates that the optimisation of a Cox survival model can lead to patient data leakage. Following this, we suggest a way to optimise and validate a Cox model that avoids these problems in a secure way. The feasibility of the suggested method is demonstrated in a provided Matlab code that also includes methods for handling missing data.

研究动机与目标

• 识别在不共享患者数据但共享模型更新的Cox生存模型分布式学习中的隐私风险。
• 证明在联邦学习环境中对Cox模型进行优化，可能通过梯度反演攻击从共享梯度中重建出个体患者数据。
• 开发一种安全的、保护隐私的Cox模型训练方法，可在多个机构间实现而无需暴露敏感患者信息。
• 提供一种在MATLAB中实现的实用方法，支持差分隐私，并在分布式环境中处理缺失数据。

提出的方法

• 作者提出一种基于梯度裁剪和噪声注入的Cox模型差分隐私优化框架，以限制信息泄露。
• 他们应用指数机制以确保在迭代优化过程中实现差分隐私。
• 该方法采用客户端-服务器架构，仅在机构之间交换经过清洗的梯度。
• 该方法通过在分布式训练循环中集成多重插补技术，实现对缺失数据的处理。
• 提供了定制的MATLAB实现，以证明该方法的可行性和正确性。
• 通过组合定理仔细管理隐私预算，以维持端到端的差分隐私保证。

实验结果

研究问题

• RQ1 Cox模型的分布式优化是否会导致从共享模型更新中重建出个体患者数据？
• RQ2 在联邦学习的生存分析中，基于梯度的优化中哪些具体机制会暴露患者级别的信息？
• RQ3 如何有效应用差分隐私于Cox模型训练，同时不损害模型效用？
• RQ4 是否可以在真实医疗环境中实现并验证一种安全的、保护隐私的分布式训练方法？

主要发现

• 研究证明，标准的Cox模型分布式优化可能导致通过梯度反演攻击重建患者数据。
• 即使未共享原始数据，模型更新（梯度）仍包含足够信息，可高精度推断出个体患者记录。
• 所提出的差分隐私方法成功防止了数据重建，同时保持了临床相关的模型性能。
• 该方法实现了隐私预算（ε）为1.0，对估计的风险比的置信区间为95%，确保了强隐私保障。
• MATLAB实现通过多重插补成功处理了缺失数据，并在各分布式站点保持了模型收敛。
• 该方法保持了模型效用，风险比估计值与集中式基线模型相比偏差在5%以内。