[논문 리뷰] Federated Principal Component Analysis

Andreas Grammenos, Rodrigo Mendoza-Smith외 2명|arXiv (Cornell University)|2019. 07. 18.

Privacy-Preserving Technologies in Data참고 문헌 55인용 수 34

한 줄 요약

연결된 분산 환경에서 페더레이티드, 비동기적이며 (b5, 6) -차등 프라이버시를 갖춘 메모리 제약 설정의 PCA 알고리즘을 제안하고, 스트리밍 로컬 업데이트와 저메모리 병합 절차를 포함합니다.

ABSTRACT

We present a federated, asynchronous, and $(\varepsilon, δ)$-differentially private algorithm for PCA in the memory-limited setting. Our algorithm incrementally computes local model updates using a streaming procedure and adaptively estimates its $r$ leading principal components when only $\mathcal{O}(dr)$ memory is available with $d$ being the dimensionality of the data. We guarantee differential privacy via an input-perturbation scheme in which the covariance matrix of a dataset $\mathbf{X} \in \mathbb{R}^{d imes n}$ is perturbed with a non-symmetric random Gaussian matrix with variance in $\mathcal{O}\left(\left(\frac{d}{n} ight)^2 \log d ight)$, thus improving upon the state-of-the-art. Furthermore, contrary to previous federated or distributed algorithms for PCA, our algorithm is also invariant to permutations in the incoming data, which provides robustness against straggler or failed nodes. Numerical simulations show that, while using limited-memory, our algorithm exhibits performance that closely matches or outperforms traditional non-federated algorithms, and in the absence of communication latency, it exhibits attractive horizontal scalability.

연구 동기 및 목표

• 원시 데이터를 공유하지 않고 분산 데이터에서 프라이버시 보호 PCA를 다룬다.
• 메모리 효율적인 로컬 업데이트를 갖는 비동기 페더레이티드 프레임워크를 개발한다.
• 스트리밍 공분산 추정에서 입력 섭동을 통해 (b5, 6) -차등 프라이버시를 보장한다.
• 프라이버시를 유지하면서 로컬 부분공간을 집계하기 위한 저메모리 병합 절차를 제공한다.
• 다중 노드 환경에서 데이터 섞임(permutation)에 대한 강건성과 확장성을 입증한다.

제안 방법

• 각 클라이언트에서 스트리밍 블록을 통해 로컬 PCA 업데이트를 점진적으로 계산한다.
• 공분산 업데이트에 차등 프라이버시 입력 섭동 스킴을 적용한다.
• 다른 클라이언트의 부분공간을 결합하기 위해 저메모리 병합 알고리즘을 사용한다.
• MOD-SuLQ를 스트리밍 및 비대칭 노이즈로 확장하여 DP 보장을 제공한다.
• 비동기적 트리 구조의 페더레이션을 허용하여 부분공간 업데이트가 순서 독립(permutation-invariant)되도록 한다.
• 에너지 기반 기준으로 랭크 r을 동적으로 조정하여 유용성과 DP 제약 간의 균형을 맞춘다.

실험 결과

연구 질문

• RQ1 페더레이티드, 프라이버시 보호, 스트리밍 설정에서 제한된 메모리로 PCA를 어떻게 계산할 수 있는가?
• RQ2 전체 데이터셋을 저장하지 않으면서 DP 보장을 유지하며 로컬 PCA 업데이트를 안전하게 병합할 수 있는가?
• RQ3 프레임워크가 페더레이션 네트워크에서 순열 불변성과 스트래글러에 대한 강건성을 달성하는가?
• RQ4 분산 네트워크에서 스트리밍 DP-PCA의 메모리 및 통신 트레이드오프는 무엇인가?
• RQ5 이 방법이 비프라이빗 PCA 및 다른 스트리밍 PCA 방법과 비교하여 어떤 성능을 보이는가?

주요 결과

• 페더레이티드-PCA가 (\u0003b5,\n6) -차등 프라이버시를 비대칭적 노이즈 스킴으로 다변수 분산을 효율적으로 처리하여 달성한다.
• 알고리즘은 비동기적이며 메모리-{}낮은 (O(d r)) 설정에서 데이터 열당 한 번의 패스로 작동한다.
• 저복잡도 병합 절차 (Merge_r)가 점진적 부분공간을 비공개로 집계한다.
• 실험은 DP 하에서 전통적인 비페더레이션 PCA에 근접하거나 이를 능가하는 투영 품질과 대기 시간 부재 시 수평적 확장성을 보인다.
• FPCA-Edge는 스트리밍 중 랭크를 적응시키고 들어오는 데이터의 순서에 대한 강건성을 유지한다.
• MNIST 및 Wine 데이터셋을 사용할 때 프라이버시 대비 유용성이 우수하다는 실험 결과가 나타났다.