[논문 리뷰] Seeking Consensus on Subspaces in Federated Principal Component Analysis

Lei Wang, Xin Liu외 1명|arXiv (Cornell University)|2020. 12. 07.

Sparse and Compressive Sensing Techniques참고 문헌 50인용 수 5

한 줄 요약

이 논문은 변수 자체가 아닌 분할 변수를 통해 부분공간을 등가화하는 방식으로 데이터 기밀성과 통신 효율성을 햖थ한 새로운 공감 추구 연립 PCA 알고리즘을 제안한다. 이는 더 빠른 수렴을 가능하게 한다. ADMM 유사 방법은 저랭크 승수를 사용하며, 하위문제를 특수화된 기법으로 해결함으로써 기존 방법보다 뛰어난 수렴성과 기밀 보호 성능을 달성한다.

ABSTRACT

In this paper, we develop an algorithm for federated principal component analysis (PCA) with emphases on both communication efficiency and data privacy. Generally speaking, federated PCA algorithms based on direct adaptations of classic iterative methods, such as simultaneous subspace iterations (SSI), are unable to preserve data privacy, while algorithms based on variable-splitting and consensus-seeking, such as alternating direction methods of multipliers (ADMM), lack in communication-efficiency. In this work, we propose a novel consensus-seeking formulation by equalizing subspaces spanned by splitting variables instead of equalizing variables themselves, thus greatly relaxing feasibility restrictions and allowing much faster convergence. Then we develop an ADMM-like algorithm with several special features to make it practically efficient, including a low-rank multiplier formula and techniques for treating subproblems. We establish that the proposed algorithm can better protect data privacy than classic methods adapted to the federated PCA setting. We derive convergence results, including a worst-case complexity estimate, for the proposed ADMM-like algorithm in the presence of the nonlinear equality constraints. Extensive empirical results are presented to show that the new algorithm, while enhancing data privacy, requires far fewer rounds of communication than existing peer algorithms for federated PCA.

연구 동기 및 목표

• 연립 PCA에서 통신 효율성과 데이터 기밀성 간의 상충 관계를 해결하기 위해.
• 로컬 데이터 행렬을 드러내지 않으면서도 빠른 수렴을 유지하는 공감 추구 알고리즘을 개발하기 위해.
• 중앙 집중형 시스템이 개별 클라이언트의 데이터 행렬 $A_iA_i^ op$를 재구성할 수 없도록 하여 본질적 기밀성을 확보하기 위해.
• 저랭크 승수 갱신과 효율적인 하위문제 해결 기법을 갖춘 ADMM 기반 방법을 설계하여 실용적 확장성을 확보하기 위해.
• 직교성 및 비선형 등식 제약 조건 하에서 수렴 보장을 확보하고 최악의 경우 복잡도 추정치를 제시하기 위해.

제안 방법

• 변수 자체가 아닌 분할 변수가 생성하는 부분공간을 등가화하는 새로운 공감 설정을 도입하여 타당성 제약 조건을 감소시킨다.
• 통신 및 계산 오버헤드를 줄이기 위해 저랭크 승수 갱신 공식을 사용하는 ADMM 유사 알고리즘을 개발한다.
• 특수화된 기법을 적용하여 하위문제를 효율적으로 해결하며, 스티엘레르 다양체 상에서 $Z$-하위문제에 대한 폐쇄형 해를 제공한다.
• 수렴을 보장하면서도 본질적 보호를 통해 데이터 기밀성을 유지하는 페널티 파라미터 전략을 사용한다.
• 클라이언트들이 원시 데이터나 중간 행렬을 공유하지 않고 오직 로컬 부분공간 추정치만 공유하는 공감 메커니즘을 구현한다.
• 리아포노프 함수를 사용하여 수렴 결과를 유도하고, 직교성 및 비선형 등식 제약 조건 하에서 최악의 경우 복잡도 범위를 설정한다.

실험 결과

연구 질문

• RQ1 같은 통신 예산 하에서 전통적인 ADMM 기반 방법보다 빠른 수렴을 달성할 수 있는 공감 추구 연립 PCA 알고리즘이 존재하는가?
• RQ2 변수 대신 부분공간을 등가화하는 것이 더 강력한 수렴성과 더 낮은 타당성 제약 조건을 제공하는가?
• RQ3 암호화나 마스킹 없이도 제안된 방법이 본질적 데이터 기밀성을 유지할 수 있는가?
• RQ4 비선형 제약 조건이 있는 제안된 ADMM 유사 알고리즘의 최악의 경우 수렴 복잡도는 무엇인가?
• RQ5 저랭크 승수 갱신은 연립 PCA에서 통신 효율성을 어떻게 향상시키는가?

주요 결과

• 제안된 알고리즘은 동료 ADMM 기반 방법보다 유의미하게 더 빠른 수렴을 달성하여 높은 정확도에 도달하기 위해 훨씬 적은 통신 라운드를 요구한다.
• 중앙 집중형 시스템이 알고리즘의 전체 지식을 확보하고 있더라도 공유된 양으로부터 $A_iA_i^ op$를 재구성할 수 없도록 하여 본질적 기밀성을 확보한다.
• 1차 정류점으로의 수렴이 보장되며, $k \to \infty$ 일 때 $\rVert R^{(k)} \rVert_F \to 0$ 이고 $\rVert X_i^{(k)}(X_i^{(k)})^\top - Z^{(k)}(Z^{(k)})^\top \rVert_F \to 0$ 이다.
• 최악의 경우 복잡도는 잔차 노름의 최소값에 대해 $O(1/N)$ 으로 추정되며, $C$ 는 초기 및 하한이 설정된 라그랑주 값에 따라 달라지는 상수이다.
• 실험 결과는 제안된 방법이 기존 방법보다 통신 효율성을 뛰어나게 유지하면서도 강력한 기밀 보장 성능을 확보하고 있음을 확인한다.
• 저랭크 승수의 사용은 특히 많은 클라이언트가 참여하는 대규모 환경에서 계산 비용과 통신 부담을 감소시킨다.