[논문 리뷰] Wireless Federated Learning with Local Differential Privacy

Mohamed Seif, Ravi Tandon외 1명|arXiv (Cornell University)|2020. 02. 12.

Privacy-Preserving Technologies in Data참고 문헌 36인용 수 25

한 줄 요약

이 논문은 가우시안 다중접속채널을 기반으로 하는 무선 분산학습 프레임워크를 제안하며, 지역적 차별적 개인정보보호(LDP)와 아날로그 기반 기울기 집합을 통합한다. 무선 매체의 중첩 성질을 활용하여, 각 사용자당 개인정보 泄露가 $\mathcal{O}(1/\sqrt{K})$ 스케일링을 이루며, 정규화된 학습 성능에 수렴하는 동안 사용자 수와 전력 증가에 따라 성능이 향상된다. 이는 정규직교 전송 방식보다 훨씬 우수하다.

ABSTRACT

In this paper, we study the problem of federated learning (FL) over a wireless channel, modeled by a Gaussian multiple access channel (MAC), subject to local differential privacy (LDP) constraints. We show that the superposition nature of the wireless channel provides a dual benefit of bandwidth efficient gradient aggregation, in conjunction with strong LDP guarantees for the users. We propose a private wireless gradient aggregation scheme, which shows that when aggregating gradients from $K$ users, the privacy leakage per user scales as $\mathcal{O}\big(\frac{1}{\sqrt{K}} \big)$ compared to orthogonal transmission in which the privacy leakage scales as a constant. We also present analysis for the convergence rate of the proposed private FL aggregation algorithm and study the tradeoffs between wireless resources, convergence, and privacy.

연구 동기 및 목표

• 강력한 개인정보 보호 보장을 확보하면서도 학습 효율성을 훼손하지 않는 무선 분산학습 환경에서의 과제를 해결하기 위해.
• 무선 채널의 물리계층 특성이 동시에 대역폭 효율적인 기울기 집합과 지역적 차별적 개인정보보호(LDP) 보호 기능을 향상시킬 수 있는지 조사하기 위해.
• 기밀 무선 FL 시스템에서 무선 자원 할당(전력, 사용자 수), 수렴 속도 및 개인정보 유출 간의 트레이드오프를 분석하기 위해.
• LDP 준수를 동시에 고려하여 기울기 정렬과 인공 노이즈 주입을 최적화하는 새로운 아날로그 집합 방식을 설계하기 위해.

제안 방법

• 무선 FL 시스템을 $K$개의 단일 안테나 사용자와 중앙 집중형 파rameter 서버(PS)를 갖는 평탄한 fading 가우시안 다중접속채널(MAC)로 모델링한다.
• 각 사용자는 자신의 국소적으로 계산된 기울기와 인위적으로 추가된 가우시안 노이즈의 선형 조합을 채널 이득에 따라 스케일링하여 전송하여 PS에서 일관된 집합이 가능하도록 한다.
• 사용자별 전력 제약을 적용하고, PS는 채널 상태 정보를 정확히 알고 있으며, 사용자들은 각자의 채널 계수를 알고 있다고 가정한다.
• 인위적 노이즈의 파ram터를 조정하여 각 사용자에서 $\epsilon$-지역적 차별적 개인정보보호(LDP) 제약 조건을 충족시키는 개인정보 메커니즘을 도입한다.
• 이론적 표준 확률적 기울기 하강(SGD) 이론을 통해 수렴 분석이 가능한, 2차 모멘트가 유계인 비편향 기울기 추정기 추정을 PS에서 도출한다.
• 부드럽고 볼록한 손실 함수를 대상으로 수렴 분석 프레임워크를 사용하여, 최적의 중심 집중 학습 솔루션 대비 기대 학습 오차에 대한 경계를 수립한다.

실험 결과

연구 질문

• RQ1 무선 채널의 중첩 성질을 활용하여 동시에 대역폭 효율성 향상과 지역적 차별적 개인정보보호(LDP) 향상을 달성할 수 있는가?
• RQ2 비직교 무선 FL 방식에서 사용자 수 $K$ 증가에 따라 개인정보 유출이 어떻게 변화하는가? 특히 직교 전송 방식과 비교했을 때 어떻게 되는가?
• RQ3 무선 자원 할당(송신 전력, 사용자 수)과 기밀 무선 FL 학습 과정의 수렴 속도 사이의 트레이드오프는 어떠한가?
• RQ4 제안된 아날로그 집합 방식은 직교 전송 방식과 비교해 개인정보 보호, 정확도, 대역폭 효율성 측면에서 어떻게 다른가?
• RQ5 부드럽고 볼록한 손실 함수 하에서 제안된 기밀 무선 FL 알고리즘의 수렴 행동은 어떠한가?

주요 결과

• 제안된 비직교 아날로그 집합 방식에서 사용자당 개인정보 유출은 $\mathcal{O}(1/\sqrt{K})$ 스케일링을 보이며, 이는 개인정보 유출이 일정하게 유지되는 직교 전송 방식보다 훨씬 우수하다.
• 사용자 수 $K$ 증가에 따라 학습 손실이 더 빠르게 감소하고, PS에 모든 데이터가 집중된 경우의 성능에 수렴한다.
• 높은 송신 전력은 반복 횟수에 따라 학습 손실 감소 속도를 높이며, 신호 대 노이즈 비율 향상에 따라 수렴 성능 향상을 보여준다.
• 제안된 비직교 아날로그 방식은 대역폭 효율성과 수렴 정확도 측면에서 직교 전송 방식을 모두 능가한다. 이는 $T=1000$ 반복 시뮬레이션을 통해 입증되었다.
• 알고리즘의 수렴 속도는 $\mathds{E}[F(\mathbf{w}_T)] - F(\mathbf{w}^*) \leq \frac{2\mu G^2}{\lambda^2 T}$로 경계되며, 여기서 $G^2$ 는 기울기 노름, 노이즈 분산 및 전력 할당에 따라 달라진다.
• 제안된 방식은 개인정보 보호, 수렴성, 자원 사용 간의 균형을 달성하며, 학습이 진행됨에 따라 국소 편향 및 채널 노이즈의 분산이 지배적인 역할을 한다.