[论文解读] Accuracy and Privacy Evaluations of Collaborative Data Analysis

Akira Imakura, Anna Bogdanova+3 more|arXiv (Cornell University)|Jan 27, 2021

Privacy-Preserving Technologies in Data参考文献 24被引用 4

一句话总结

本文提出了一种非模型共享的协作数据分析框架，通过共享降维表示实现隐私保护的分布式机器学习。该框架建立了与集中式分析等价的充分条件，并证明了对内部和外部攻击的双重隐私保护机制，表明即使在强隐私保证下，通过下采样和ε-DR隐私机制，准确率仍保持较高水平。

ABSTRACT

Distributed data analysis without revealing the individual data has recently attracted significant attention in several applications. A collaborative data analysis through sharing dimensionality reduced representations of data has been proposed as a non-model sharing-type federated learning. This paper analyzes the accuracy and privacy evaluations of this novel framework. In the accuracy analysis, we provided sufficient conditions for the equivalence of the collaborative data analysis and the centralized analysis with dimensionality reduction. In the privacy analysis, we proved that collaborative users' private datasets are protected with a double privacy layer against insider and external attacking scenarios.

研究动机与目标

• 建立协作与集中式数据分析在降维条件下的等价性充分条件。
• 分析协作数据分析对内部和外部敌手的隐私保障能力。
• 评估实际部署场景中准确率与隐私之间的权衡。
• 在不同隐私阈值下对准确率与隐私度量进行数值验证。

提出的方法

• 该框架仅共享私有数据集的降维表示（f_i），而非原始数据或模型。
• 采用充分条件（公式9）以确保协作与集中式分析在降维条件下的等价性。
• 实施双重隐私保护机制：(1) 通过协议设计保护f_i的机密性（定理2和3）；(2) f_i满足ε-DR隐私定义（公式10）和（11），以抵御推理攻击。
• 应用下采样技术以去除样本间距离较小的样本，增强ε-DR隐私（公式12），同时保持准确率损失最小。
• 选择或约束降维方法，使其在给定ε₁和ε₂阈值下满足ε-DR隐私。
• 通过真实世界数据集的多次实验进行数值评估，以衡量准确率（ACC）与隐私度量。

实验结果

研究问题

• RQ1 在何种条件下，基于降维的协作数据分析与经过相同变换的集中式分析等价？
• RQ2 该框架如何确保在f_i可能被内部威胁者泄露的情况下仍保持隐私？
• RQ3 该框架如何防范外部敌手试图从共享表示中重构私有数据？
• RQ4 在协作分析中，隐私（以ε-DR衡量）与预测准确率之间的权衡关系如何？
• RQ5 下采样能否有效提升隐私（ε-DR），同时最小化准确率的下降？

主要发现

• 充分条件（公式9）确保了协作数据分析在数学上与降维条件下的集中式分析等价。
• 当ε = 10⁻²时，协作方法在下采样设置下达到97.50%的准确率，与集中式基线（93.6%）相当。
• 即使ε = 0.5时，协作准确率（81.4%）仍高于单独分析（75.5%），表明其具备强鲁棒性。
• 下采样可在仅造成轻微准确率损失的情况下显著提升ε-DR隐私（公式12），例如当ε从10⁻²增至0.4时，准确率仅从97.50%降至86.1%。
• 该框架提供了双重隐私保护：f_i通过协议安全性与ε-DR隐私双重保护，确保对内部和外部攻击均具备抗性。
• 数值评估证实，即使在高ε-DR隐私水平下，准确率下降也极小，尤其在使用下采样或受约束的降维方法时更为显著。