[논문 리뷰] On Convergence of Federated Averaging Langevin Dynamics

Wei Deng, Qian Zhang외 3명|arXiv (Cornell University)|2021. 12. 09.

Stochastic Gradient Optimization Techniques인용 수 5

한 줄 요약

이 논문은 페더레이티드 러닝에서 사후 추론을 위한 새로운 알고리즘인 페더레이티드 평균 랭지에빈 역학(FA-LD)을 제안한다. 이 알고리즘은 국지적 확률적 경사 하강 랭지에빈 역학과 글로벌 모델 평균화를 결합한다. 비독립 동일분포가 아닌 데이터 하에서 강한 로그-볼록 사후 분포에 대해 비점근 수렴 분석을 제공하며, 주입된 노이즈가 존재하더라도 통신 효율성을 유지하고 최적의 국지적 업데이트 스케줄링을 가능하게 하며, 조정 가능한 노이즈 상관관계와 부분적 장치 참여를 통해 차별적 프라이버시 보장을 제공한다.

ABSTRACT

We propose a federated averaging Langevin algorithm (FA-LD) for uncertainty quantification and mean predictions with distributed clients. In particular, we generalize beyond normal posterior distributions and consider a general class of models. We develop theoretical guarantees for FA-LD for strongly log-concave distributions with non-i.i.d data and study how the injected noise and the stochastic-gradient noise, the heterogeneity of data, and the varying learning rates affect the convergence. Such an analysis sheds light on the optimal choice of local updates to minimize communication costs. Important to our approach is that the communication efficiency does not deteriorate with the injected noise in the Langevin algorithms. In addition, we examine in our FA-LD algorithm both independent and correlated noise used over different clients. We observe there is a trade-off between the pairs among communication, accuracy, and data privacy. As local devices may become inactive in federated networks, we also show convergence results based on different averaging schemes where only partial device updates are available. In such a case, we discover an additional bias that does not decay to zero.

연구 동기 및 목표

• 비볼록 최적화를 초월한 샘플링 기반 페더레이티드 러닝 알고리즘에 대한 이론적 수렴 보장의 부족을 해결한다.
• 랭지에빈 역학을 통한 사후 샘플링을 통해 페더레이티드 러닝에서 최적화와 불확실성 측정을 통합한다.
• 주입된 노이즈, 데이터 이질성, 확률적 경사 하강 노이즈, 변동하는 학습률이 비독립 동일분포 설정에서 수렴에 미치는 영향을 분석한다.
• 통신 비용을 최소화하면서 정확도를 유지하기 위해 최적의 국지적 업데이트 횟수에 대한 이론적 지침을 제공한다.
• 노이즈 상관관계 조정과 부분적 장치 참여를 통해 프라이버시와 강건성을 확보한다.

제안 방법

• 국지적 SGLD 업데이트와 글로벌 모델 평균화를 조합한 하이브리드 알고리즘인 페더레이티드 평균 랭지에빈 역학(FA-LD)을 제안한다.
• 비독립 동일분포 클라이언트 데이터 하에서 강한 로그-볼록 사후 분포에 대해 FA-LD의 비점근 수렴 분석을 도입한다.
• 조건 수에 따라 조율되는 동기화 주파수에 기반해 글로벌 사후 분포를 국지적 사후 샘플의 집합으로 모델링한다.
• 주입된 노이즈와 확률적 경사 하강 노이즈가 수렴에 미치는 영향을 분석하여, 이들이 수렴 역학의 주요 동력임을 보여준다.
• 통신 효율성, 정확도, 데이터 프라이버시 간의 트레이드오프를 가능하게 하는 두 가지 노이즈 주입 방식—독립적 및 상관관계가 있는 방식—을 설계한다.
• 노이즈 캘리브레이션을 통한 차별적 프라이버시 보장을 통합하며, 두 방식 모두에서 $(\tilde{\rho}_K, \tilde{\rho}_{K,T})$-차별적 프라이버시에 대한 명시적 경계를 제공한다.

실험 결과

연구 질문

• RQ1 비독립 동일분포 데이터 하에서 강한 로그-볼록 사후 분포에 대해, 페더레이티드 샘플링 알고리즘이 비점근 수렴 보장을 달성할 수 있는가?
• RQ2 주입된 노이즈, 데이터 이질성, 확률적 경사 하강 노이즈가 함께 작용할 때, 페더레이티드 사후 샘플링의 수렴에 어떤 영향을 미치는가?
• RQ3 통신 비용을 최소화하면서 수렴성과 정확도를 유지하기 위해 최적의 국지적 업데이트 횟수는 얼마인가?
• RQ4 수렴 성능 저하 없이 부분적 장치 참여를 어떻게 모델링할 수 있으며, 이러한 설정에서 추가로 발생하는 편향은 무엇인가?
• RQ5 FA-LD에서 독립적 또는 상관관계가 있는 노이즈를 사용할 경우, 통신 효율성, 모델 정확도, 데이터 프라이버시 간의 트레이드오프는 어떻게 되는가?

주요 결과

• FA-LD는 비독립 동일분포 데이터와 변동하는 학습률 조건 하에서도 강한 로그-볼록 가정 하에서 글로벌 사후 분포로의 비점근 수렴을 달성한다.
• 주입된 노이즈가 FA-LD에서 통신 효율성을 손상시키지 않으며, 표준 SGLD와 달리 대규모 페더레이티드 시스템에 적합하다.
• 최적의 국지적 업데이트 횟수는 문제의 조건 수에 의해 결정되며, 이는 적응적 스케줄링을 통한 통신 비용 최소화를 가능하게 한다.
• 단지 부분적인 장치가 참여할 경우, 수렴이 0으로 수렴하지 않는 추가적인 편향이 발생하며, 이는 느린 장치에 대한 강건성 설정에서의 근본적 한계를 드러낸다.
• 독립적 및 상관관계가 있는 노이즈 방식 모두에서 차별적 프라이버시가 유지되며, 명시적 경계에 따르면 $\tilde{\rho}_{K,T} = O\big(\frac{S\triangle_l}{N}\big)\times\text{terms involving } \tau, \rho, \text{ and } \theta$이다.
• 낮은 노이즈 영역($\theta \to 0$)에서 프라이버시 예산은 $O\big(\frac{S\triangle_l}{N}\big)\times\text{로그 항목}$으로 스케일링되며, 이는 프라이버시와 정확도 간의 트레이드오프를 시사한다.