[论文解读] Differential Private Stack Generalization with an Application to Diabetes Prediction

Quanming Yao, Xiawei Guo+5 more|arXiv (Cornell University)|Nov 23, 2018

Privacy-Preserving Technologies in Data参考文献 33被引用 4

一句话总结

本文提出差分隐私堆叠（PST），通过基于样本或特征的数据划分，利用集成学习增强隐私保护的逻辑回归。理论上和实证上均表明，基于特征的划分可降低样本复杂度并提升预测性能，尤其在结合特征重要性时，实现了跨组织糖尿病预测的最先进结果，同时保持隐私。

ABSTRACT

To meet the standard of differential privacy, noise is usually added into the original data, which inevitably deteriorates the predicting performance of subsequent learning algorithms. In this paper, motivated by the success of improving predicting performance by ensemble learning, we propose to enhance privacy-preserving logistic regression by stacking. We show that this can be done either by sample-based or feature-based partitioning. However, we prove that when privacy-budgets are the same, feature-based partitioning requires fewer samples than sample-based one, and thus likely has better empirical performance. As transfer learning is difficult to be integrated with a differential privacy guarantee, we further combine the proposed method with hypothesis transfer learning to address the problem of learning across different organizations. Finally, we not only demonstrate the effectiveness of our method on two benchmark data sets, i.e., MNIST and NEWS20, but also apply it into a real application of cross-organizational diabetes prediction from RUIJIN data set, where privacy is of significant concern.

研究动机与目标

• 为解决差分隐私中因噪声注入导致的性能下降问题。
• 通过集成堆叠提升差分隐私逻辑回归的性能，提高预测准确性而不损害隐私。
• 在差分隐私约束下，比较基于样本和基于特征的划分策略在堆叠中的表现。
• 将假设迁移学习与差分隐私结合，用于跨组织学习，特别是在医疗数据场景中。
• 在基准数据集和基于RUIJIN数据集的真实世界糖尿病预测应用中验证该方法。

提出的方法

• 提出一种差分隐私堆叠（PST）框架，通过按样本或特征划分训练数据，训练多个低层模型。
• 使用高层逻辑回归模型整合低层模型的预测结果，确保端到端差分隐私。
• 引入基于特征的划分，根据特征重要性对特征进行分组，相比基于样本的划分，可降低样本复杂度。
• 在迁移学习中对源域和目标域实施隐私预算分配策略，ε = 1.0 适用于两者。
• 利用领域专家提供的特征重要性评分，对基于特征的PST中的分组进行加权，提升模型性能。
• 采用与ε-差分隐私校准的噪声注入机制，确保理论上的隐私保障。

实验结果

研究问题

• RQ1 在差分隐私堆叠中，基于特征的划分是否比基于样本的划分具有更低的样本复杂度？
• RQ2 在差分隐私下，将特征重要性整合到划分过程中是否能进一步提升预测性能？
• RQ3 所提出的PST方法与标准隐私保护逻辑回归（PLR）和迁移学习基线方法相比，在跨组织学习中的表现如何？
• RQ4 所提出的方法是否能在真实世界医疗预测中实现最先进性能，同时保护患者隐私？
• RQ5 噪声注入对模型性能有何影响？堆叠能否有效缓解这种性能下降？

主要发现

• 在相同隐私预算下，PST中的基于特征的划分比基于样本的划分所需样本更少，表现出更低的样本复杂度和更好的实证性能。
• 在NEWS20数据集上，使用专家提供的特征重要性的PST-F(W)方法达到最高AUC（0.932），优于其他方法。
• 在RUIJIN糖尿病数据集上，PST-F(W)优于PLR(target)和PPHTL，在跨组织学习中实现最佳预测性能。
• 在基准数据集上，所提方法相比标准PLR，AUC最高提升0.035，展现出显著的性能提升。
• 实证结果证实，整合特征重要性可显著提升性能，尤其在低数据场景和跨组织设置中。
• 所有实验中，该方法均保持ε-差分隐私（ε = 1.0），确保强隐私保障。