[논문 리뷰] Federated Stochastic Gradient Langevin Dynamics

Khaoula El Mekkaoui, Diego Mesquita외 2명|Työväentutkimus Vuosikirja|2020. 04. 23.

Markov Chains and Monte Carlo Methods참고 문헌 27인용 수 5

한 줄 요약

이 논문은 비독립identical 분포(Non-IID) 환경에서 사후 추정을 향상시키기 위해 '유리한 기울기'(conducive gradients)를 도입한 새로운 방법인 연합 스토하스틱 그래디언트 랑주반 다이내믹스(Federated Stochastic Gradient Langevin Dynamics, FSGLD)를 제안한다. 이 기울기는 국소적 우도 근사값을 사용한 분산 감소 기법으로, 편향된 기울기 추정을 보정한다. FSGLD는 지연된 통신 조건에서도 진짜 사후분포로 수렴하며, 특히 Non-IID 데이터에서 DSGLD보다 메트릭스 학습 및 신경망 실험에서 뛰어난 성능을 보인다.

ABSTRACT

Stochastic gradient MCMC methods, such as stochastic gradient Langevin dynamics (SGLD), employ fast but noisy gradient estimates to enable large-scale posterior sampling. Although we can easily extend SGLD to distributed settings, it suffers from two issues when applied to federated non-IID data. First, the variance of these estimates increases significantly. Second, delaying communication causes the Markov chains to diverge from the true posterior even for very simple models. To alleviate both these problems, we propose conducive gradients, a simple mechanism that combines local likelihood approximations to correct gradient updates. Notably, conducive gradients are easy to compute, and since we only calculate the approximations once, they incur negligible overhead. We apply conducive gradients to distributed stochastic gradient Langevin dynamics (DSGLD) and call the resulting method federated stochastic gradient Langevin dynamics (FSGLD). We demonstrate that our approach can handle delayed communication rounds, converging to the target posterior in cases where DSGLD fails. We also show that FSGLD outperforms DSGLD for non-IID federated data with experiments on metric learning and neural networks.

연구 동기 및 목표

• 연합 Non-IID 환경에서 분산된 SGLD(DSGLD)의 열악한 수렴성과 높은 분산 문제를 해결하기 위해.
• 데이터가 클라이언트 간에 분할되어 있고 통신 빈도가 낮은 연합 학습 환경에서 신뢰할 수 있는 사후 추정을 가능하게 하기 위해.
• 기존의 분산 SG-MCMC 접근법 대비 추정 정확도를 향상시키면서도 계산 효율성을 유지하는 방법을 개발하기 위해.
• DSGLD 및 제안된 FSGLD 방법에 대한 이론적 수렴 경계를 제공하기 위해.
• 하나의 클라이언트당 한 번만 계산되는 유리한 기울기가 Non-IID 상황에서 추정 분산을 크게 감소시키고 일반화 성능을 향상시킨다는 것을 입증하기 위해.

제안 방법

• 각 클라이언트의 국소적 우도 근사값을 조합하여 편향을 보정하는 '유리한 기울기'—즉, 평균이 0인 확률적 함수를 도입한다.
• 학습 이전에 클라이언트별로 한 번만 국소적 우도 대체치(예: 대각 행렬 다변수 정규 근사)를 계산하여 거의 무시할 수 있는 오버헤드를 유발한다.
• Non-IID 데이터에서 기인하는 분산과 편향을 줄이기 위해 DSGLD 기울기 추정기에 유리한 기울기를 추가한다.
• 제어 변수 원리를 활용하여 마르코프 체인을 안정화하고 진짜 사후분포로의 수렴을 향상시킨다.
• 전체 기울기나 데이터를 공유하지 않고, 국소적 근사치만 한 번 공유하는 통신 효율적인 프로토콜을 구현한다.
• DSGLD 및 FSGLD에 대한 수렴 경계를 유도하여, 데이터 이질성과 지연된 통신 조건 하에서도 개선된 안정성을 입증한다.

실험 결과

연구 질문

• RQ1 국소적 우도 근사값을 기반으로 한 분산 감소 기법이 연합 Non-IID 환경에서 사후 추정에 기여하는가?
• RQ2 DSGLD가 지연된 통신이나 데이터 이질성으로 인해 실패할 때, 제안된 FSGLD 방법은 진짜 사후분포로 수렴하는가?
• RQ3 국소적 우도 대체치의 선택이 FSGLD의 수렴성과 성능에 어떤 영향을 미치는가?
• RQ4 FSGLD는 DSGLD와 동일한 계산 복잡도를 유지하면서도 추정 정확도를 크게 향상시킬 수 있는가?
• RQ5 연합 및 Non-IID 데이터 환경에서 DSGLD 및 FSGLD의 수렴에 대해 어떤 이론적 보장을 제공할 수 있는가?

주요 결과

• MLP 실험에서 FSGLD는 Non-IID 데이터에서 DSGLD를 크게 능가하여 평균 테스트 로그우도 -0.67 ± 0.03을 달성한 반면, DSGLD는 -1.11 ± 0.312에 그친다.
• Non-IID 케이스에서 DSGLD는 훈련 로그우도(-0.44)에서 테스트 로그우도(-1.11)로의 큰 하락을 보이며 일반화 성능이 열 劣하다는 것을 입증하며, 과적합 또는 수렴 실패를 시사한다.
• FSGLD는 여러 시행에 걸쳐 DSGLD 대비 분산이 50% 이상 감소한 낮은 분산의 추정을 달성한다.
• DSGLD가 실패하는 경우—특히 지연된 통신 및 높은 데이터 이질성 조건에서—FSGLD는 진짜 사후분포로 수렴한다.
• 국소적 우도 근사치를 계산하는 데서 유의미한 오버헤드 없이, DSGLD와 동일한 계산 복잡도를 유지한다.
• FSGLD의 수렴 경계 분석을 통해 국소 대체치의 선택(예: 지수족 근사)이 경계의 날카움과 추정 효율성에 직접적인 영향을 미친다는 것이 입증되었다.