[论文解读] Federated Principal Component Analysis

Andreas Grammenos, Rodrigo Mendoza-Smith+2 more|arXiv (Cornell University)|Jul 18, 2019

Privacy-Preserving Technologies in Data参考文献 55被引用 34

一句话总结

提出一种联邦、异步、以及 (```\u0003b5,\n6)``` -differentially private 算法，用于在内存受限设置下的PCA，具备流式本地更新和低内存合并过程。

ABSTRACT

We present a federated, asynchronous, and $(\varepsilon, δ)$-differentially private algorithm for PCA in the memory-limited setting. Our algorithm incrementally computes local model updates using a streaming procedure and adaptively estimates its $r$ leading principal components when only $\mathcal{O}(dr)$ memory is available with $d$ being the dimensionality of the data. We guarantee differential privacy via an input-perturbation scheme in which the covariance matrix of a dataset $\mathbf{X} \in \mathbb{R}^{d imes n}$ is perturbed with a non-symmetric random Gaussian matrix with variance in $\mathcal{O}\left(\left(\frac{d}{n} ight)^2 \log d ight)$, thus improving upon the state-of-the-art. Furthermore, contrary to previous federated or distributed algorithms for PCA, our algorithm is also invariant to permutations in the incoming data, which provides robustness against straggler or failed nodes. Numerical simulations show that, while using limited-memory, our algorithm exhibits performance that closely matches or outperforms traditional non-federated algorithms, and in the absence of communication latency, it exhibits attractive horizontal scalability.

研究动机与目标

• 在去中心化数据上实现隐私保护的PCA，而不共享原始数据。
• 开发一个具有内存高效本地更新的异步联邦框架。
• 通过在流式协方差估计中进行输入扰动来保证 (\u0003b5,\n6) -differential privacy。
• 提供一个低内存合并过程，在保持隐私的同时聚合本地子空间。
• 展示对数据置换的鲁棒性以及在多节点设置中的可扩展性。

提出的方法

• 在每个客户端通过流式块增量计算局部PCA更新。
• 将差分隐私输入扰动方案应用于协方差更新。
• 使用低内存合并算法将来自不同客户端的子空间进行合并。
• 将 MOD-SuLQ 扩展到流式和非对称噪声以实现DP保证。
• 允许异步、树状结构的联盟，以使子空间更新具置换不变性。
• 使用基于能量的准则动态适应秩 r，以平衡效用和DP约束。

实验结果

研究问题

• RQ1 在受限内存的情况下，如何在联邦、隐私保护、流式设置中计算PCA？
• RQ2 在不存储完整数据集且保持DP保障的同时，能否安全地合并局部PCA更新？
• RQ3 该框架在联邦网络中是否实现置换不变性以及对慢节点的鲁棒性？
• RQ4 在去中心化网络中，流式DP-PCA的内存与通信权衡是什么？
• RQ5 该方法与非私有PCA及其他流式PCA方法相比的性能如何？

主要发现

• Federated-PCA 实现 (\u0003b5,\n6) -differential privacy，具有方差高效的非对称噪声方案。
• 该算法在异步、内存低（O(d r)）的设置下对每一列数据进行一次遍历。
• 一个低复杂度合并过程（Merge_r）以隐私方式聚合增量子空间。
• 实验表明，在DP下，投影质量接近或优于传统的非联邦PCA，并且在无延迟情况下具有良好的水平可扩展性。
• FPCA-Edge 在流式处理中自适应秩，并对输入数据的置换保持鲁棒。
• 在使用 MNIST 和 Wine 数据集时，试验结果显示在隐私性下的效用更优。