[论文解读] Seeking Consensus on Subspaces in Federated Principal Component Analysis

Lei Wang, Xin Liu+1 more|arXiv (Cornell University)|Dec 7, 2020

Sparse and Compressive Sensing Techniques参考文献 50被引用 5

一句话总结

该论文提出了一种新颖的共识寻求联邦PCA算法，通过使用分裂变量而非变量本身来均衡子空间，从而在增强数据隐私的同时提升通信效率，实现更快的收敛速度。该方法采用类似ADMM的策略，使用低秩乘子并结合专用子问题求解技术，在收敛性和隐私保护方面优于现有方法。

ABSTRACT

In this paper, we develop an algorithm for federated principal component analysis (PCA) with emphases on both communication efficiency and data privacy. Generally speaking, federated PCA algorithms based on direct adaptations of classic iterative methods, such as simultaneous subspace iterations (SSI), are unable to preserve data privacy, while algorithms based on variable-splitting and consensus-seeking, such as alternating direction methods of multipliers (ADMM), lack in communication-efficiency. In this work, we propose a novel consensus-seeking formulation by equalizing subspaces spanned by splitting variables instead of equalizing variables themselves, thus greatly relaxing feasibility restrictions and allowing much faster convergence. Then we develop an ADMM-like algorithm with several special features to make it practically efficient, including a low-rank multiplier formula and techniques for treating subproblems. We establish that the proposed algorithm can better protect data privacy than classic methods adapted to the federated PCA setting. We derive convergence results, including a worst-case complexity estimate, for the proposed ADMM-like algorithm in the presence of the nonlinear equality constraints. Extensive empirical results are presented to show that the new algorithm, while enhancing data privacy, requires far fewer rounds of communication than existing peer algorithms for federated PCA.

研究动机与目标

• 解决联邦PCA中通信效率与数据隐私之间的权衡问题。
• 开发一种共识寻求算法，避免暴露本地数据矩阵的同时保持快速收敛。
• 通过防止中心节点重构各客户端的 $A_iA_i^ op$ 数据矩阵，确保内在隐私性。
• 设计基于ADMM的方法，采用低秩乘子更新机制并高效求解子问题，以实现实际可扩展性。
• 在非线性等式约束下建立收敛性保证，并提供最坏情况下的复杂度估计。

提出的方法

• 提出一种新颖的共识公式，通过均衡由分裂变量张成的子空间而非变量本身，减少可行性限制。
• 设计一种类似ADMM的算法，采用低秩乘子更新公式，以降低通信与计算开销。
• 应用专用技术高效求解子问题，包括在Stiefel流形上对 $Z$-子问题的闭式解法。
• 采用惩罚参数策略，在确保收敛的同时通过内在保护机制维持数据隐私。
• 实施一种共识机制，客户端仅共享其本地子空间估计值，而非原始数据或中间矩阵。
• 利用李雅普诺夫函数推导收敛结果，并在正交性和非线性等式约束下建立最坏情况复杂度边界。

实验结果

研究问题

• RQ1 在相同通信预算下，共识寻求联邦PCA算法是否能比传统ADMM方法实现更快的收敛速度？
• RQ2 通过均衡子空间而非变量，是否能带来更强的收敛性能并减少可行性限制？
• RQ3 所提方法是否能在无需加密或掩码的情况下实现内在数据隐私保护？
• RQ4 在非线性约束下，所提类似ADMM算法的最坏情况收敛复杂度是多少？
• RQ5 低秩乘子更新如何提升联邦PCA中的通信效率？

主要发现

• 所提算法相比同类ADMM方法实现显著更快的收敛速度，在达到高精度时所需通信轮次远少于其他方法。
• 通过防止中心节点从共享量中重构 $A_iA_i^ op$，确保了内在隐私性，即使在完全知晓算法细节的情况下亦无法实现重构。
• 收敛至一阶稳定点被保证，且当 $k \to \infty$ 时，有 $\rVert R^{(k)} \rVert_F \to 0$ 以及 $\rVert X_i^{(k)}(X_i^{(k)})^\top - Z^{(k)}(Z^{(k)})^\top \rVert_F \to 0$。
• 最坏情况复杂度估计为 $O(1/N)$，其中 $C$ 为依赖于初始值与拉格朗日值下界的常数。
• 实验结果证实，该算法在通信效率方面优于现有方法，同时保持了强大的隐私保障。
• 使用低秩乘子显著降低了计算成本与通信负载，尤其在客户端数量众多的大规模场景中优势明显。