[論文レビュー] Federated Principal Component Analysis

Andreas Grammenos, Rodrigo Mendoza-Smith+2 more|arXiv (Cornell University)|Jul 18, 2019

Privacy-Preserving Technologies in Data参考文献 55被引用数 34

ひとこと要約

メモリ制約下でのPCAのための連合型・非同期・(���b5, 6) -differentially privateアルゴリズムを提案し、ストリーミングの局所更新と低メモリのマージ手順を提供する。

ABSTRACT

We present a federated, asynchronous, and $(\varepsilon, δ)$-differentially private algorithm for PCA in the memory-limited setting. Our algorithm incrementally computes local model updates using a streaming procedure and adaptively estimates its $r$ leading principal components when only $\mathcal{O}(dr)$ memory is available with $d$ being the dimensionality of the data. We guarantee differential privacy via an input-perturbation scheme in which the covariance matrix of a dataset $\mathbf{X} \in \mathbb{R}^{d \times n}$ is perturbed with a non-symmetric random Gaussian matrix with variance in $\mathcal{O}\left(\left(\frac{d}{n}\right)^2 \log d \right)$, thus improving upon the state-of-the-art. Furthermore, contrary to previous federated or distributed algorithms for PCA, our algorithm is also invariant to permutations in the incoming data, which provides robustness against straggler or failed nodes. Numerical simulations show that, while using limited-memory, our algorithm exhibits performance that closely matches or outperforms traditional non-federated algorithms, and in the absence of communication latency, it exhibits attractive horizontal scalability.

研究の動機と目的

• 生データを共有せずに、分散データ上でのプライバシー保護されたPCAを扱う。
• メモリ効率的な局所更新を備えた非同期の連合フレームワークを開発する。
• ストリーミング共分散推定における入力摂動を介して、(b5, 6) -differential privacy を保証する。
• プライバシーを保ちながら局所空間を統合する低メモリのマージ手順を提供する。
• データの並べ替え（パーミュテーション）に対する堅牢性と、マルチノード環境でのスケーラビリティを実証する。

提案手法

• 各クライアントでストリーミングブロックを介して局所PCA更新を段階的に計算する。
• 共分散更新に対して差分プライバシーの入力摂動方式を適用する。
• 異なるクライアントからの局所空間を結合する低メモリのマージアルゴリズムを使用する。
• DP保証のために、MOD-SuLQ をストリーミングおよび非対称ノイズへ拡張する。
• サブスペース更新がパーミュテーション不変となるよう、非同期の樹状連合を許可する。
• エネルギーベースの基準を用いてランク r を動的に適応させ、有用性とDP制約のバランスを取る。

実験結果

リサーチクエスチョン

• RQ1 有限メモリ下で、連合型・プライバシー保護されたストリーミング設定でPCAをどのように計算できるか？
• RQ2 完全なデータセットを保存せず、DP保証を維持しつつ局所PCA更新を安全にマージできるか？
• RQ3 このフレームワークは連合ネットワークにおいてパーミュテーション不変性と遅延ノード（ストラグラ）への堅牢性を達成するか？
• RQ4 分散ネットワークにおけるストリーミングDP-PCAのメモリと通信のトレードオフは何か？
• RQ5 非プライベートPCAや他のストリーミングPCA法と比べて、手法の性能はどうか？

主な発見

• Federated-PCA は、分散プライバシー (b5, 6) -differential privacy を、分散効率的な非対称ノイズ方式で達成する。
• アルゴリズムは、非同期でメモリ-{}low (O(d r)) の設定でデータ列ごとに1パスで動作する。
• 低い計算複雑度のマージ手順（Merge_r）は、逐次的な部分空間をプライベートに集約する。
• 実験は、DP下で従来の非連合PCAとほぼ同等またはそれを上回る射影品質を示し、待機遅延がない場合に水平的なスケーラビリティが魅力的であることを示す。
• FPCA-Edge はストリーミング中にランクを適応させ、入力データのパーミュテーションに対して堅牢である。
• MNIST および Wine データセットを用いた経験的結果は、プライバシーと比較したときに有用性が有利であることを示している。