[論文レビュー] Seeking Consensus on Subspaces in Federated Principal Component Analysis

Lei Wang, Xin Liu+1 more|arXiv (Cornell University)|Dec 7, 2020

Sparse and Compressive Sensing Techniques参考文献 50被引用数 5

ひとこと要約

本稿は、変数そのものではなく分割変数を用いて部分空間を等化することにより、データの機微性と通信効率を向上させる、新しいコンSENSUS指向のフェデレーテッドPCAアルゴリズムを提案する。この手法は、ADMMに類似したアプローチを採用し、低ランクの乗数と特化した部分問題の解法を用いることで、従来の手法に比べて優れた収束性と機微性保護を実現する。

ABSTRACT

In this paper, we develop an algorithm for federated principal component analysis (PCA) with emphases on both communication efficiency and data privacy. Generally speaking, federated PCA algorithms based on direct adaptations of classic iterative methods, such as simultaneous subspace iterations (SSI), are unable to preserve data privacy, while algorithms based on variable-splitting and consensus-seeking, such as alternating direction methods of multipliers (ADMM), lack in communication-efficiency. In this work, we propose a novel consensus-seeking formulation by equalizing subspaces spanned by splitting variables instead of equalizing variables themselves, thus greatly relaxing feasibility restrictions and allowing much faster convergence. Then we develop an ADMM-like algorithm with several special features to make it practically efficient, including a low-rank multiplier formula and techniques for treating subproblems. We establish that the proposed algorithm can better protect data privacy than classic methods adapted to the federated PCA setting. We derive convergence results, including a worst-case complexity estimate, for the proposed ADMM-like algorithm in the presence of the nonlinear equality constraints. Extensive empirical results are presented to show that the new algorithm, while enhancing data privacy, requires far fewer rounds of communication than existing peer algorithms for federated PCA.

研究の動機と目的

• フェデレーテッドPCAにおける通信効率とデータ機微性のトレードオフを解消すること。
• 局所的なデータ行列を露呈せずに高速な収束を維持するコンセンサス指向のアルゴリズムを開発すること。
• 中央サーバーが個々のクライアントのデータ行列 $A_iA_i^ op$ を再構築できないように、内在的な機微性を保証すること。
• 低ランク乗数の更新と効率的な部分問題の解法を備えたADMMに基づく手法を設計し、実用的なスケーラビリティを確保すること。
• 直交性制約および非線形等式制約の下で収束保証を確立し、最悪ケースの複雑さの推定値を提供すること。

提案手法

• 変数そのものではなく、分割変数によって生成される部分空間を等化する新しいコンセンサス定式化を導入し、実行可能性の制約を軽減する。
• 通信および計算のオーバーヘッドを低減するため、低ランク乗数の更新式を用いたADMMに類似したアルゴリズムを開発する。
• 特に、Stiefel多様体上での $Z$-部分問題に対して閉形式解を適用するなど、部分問題を効率的に解くための特化技術を適用する。
• 収束を保証すると同時に、内在的な保護により機微性を維持するためのペナルティパラメータ戦略を用いる。
• クライアントは、生データや中間行列ではなく、局所的な部分空間推定値のみを共有するコンセンサスメカニズムを実装する。
• リャプノフ関数を用いた収束結果の導出と、直交性および非線形等式制約の下での最悪ケースの複雑さの境界を確立する。

実験結果

リサーチクエスチョン

• RQ1 同じ通信予算の下で、コンセンサス指向のフェデレーテッドPCAアルゴリズムは、従来のADMMに基づく手法よりも高速な収束を達成できるか？
• RQ2 変数そのものではなく部分空間を等化することで、より強い収束性とより少ない実行可能性の制約が得られるか？
• RQ3 暗号化やマスキングを必要とせずに、内在的なデータ機微性を保持できるか？
• RQ4 非線形制約を伴う、提案されたADMMに類似したアルゴリズムの最悪ケース収束複雑さは何か？
• RQ5 低ランク乗数の更新は、フェデレーテッドPCAにおける通信効率をどのように向上させるか？

主な発見

• 提案されたアルゴリズムは、同等の通信予算の下で、他のADMMベースの手法に比べて顕著に高速な収束を達成し、高い精度に到達するための通信ラウンド数を大幅に削減する。
• 中央サーバーがアルゴリズムの詳細を完全に把握していても、共有される量から $A_iA_i^ op$ を再構築できないため、内在的な機微性を保証する。
• 一階の停留点への収束が保証され、$k \to \infty$ のとき $ Vert R^{(k)} Vert_F \to 0$ および $ Vert X_i^{(k)}(X_i^{(k)})^ op - Z^{(k)}(Z^{(k)})^ op Vert_F \to 0$ が成り立つ。
• 最悪ケースの複雑さは、最小残差ノルムに関して $O(1/N)$ と推定され、$C$ は初期値および下限付きラグランジュ値に依存する定数である。
• 実験的結果は、通信効率が優れており、強力な機微性保証を維持していることを確認する。
• 低ランク乗数の使用により、特に多数のクライアントが関与する大規模な設定において、計算コストと通信負荷が著しく低減される。