[논문 리뷰] FedDANE: A Federated Newton-Type Method

Tian Li, Anit Kumar Sahu외 4명|arXiv (Cornell University)|2020. 01. 07.

Privacy-Preserving Technologies in Data참고 문헌 18인용 수 8

한 줄 요약

FedDANE는 페더레이티드 러닝에서 저조회도 및 통계적 이종성 문제를 다루기 위해 비정확한 DANE를 적응적으로 조정한 페더레이티드 뉴턴형 최적화 방법을 제안한다. 볼록 및 비볼록 목표함수에 대해 강력한 이론적 수렴 보장이 존재하지만, 실험 결과에서는 기저선인 FedAvg 및 FedProx에 비해 지속적으로 성능이 열 劣하므로, 비정확한 기울기 추정과 데이터 이종성이 원인이다.

ABSTRACT

Federated learning aims to jointly learn statistical models over massively distributed remote devices. In this work, we propose FedDANE, an optimization method that we adapt from DANE, a method for classical distributed optimization, to handle the practical constraints of federated learning. We provide convergence guarantees for this method when learning over both convex and non-convex functions. Despite encouraging theoretical results, we find that the method has underwhelming performance empirically. In particular, through empirical simulations on both synthetic and real-world datasets, FedDANE consistently underperforms baselines of FedAvg and FedProx in realistic federated settings. We identify low device participation and statistical device heterogeneity as two underlying causes of this underwhelming performance, and conclude by suggesting several directions of future work.

연구 동기 및 목표

• 기존 방법의 수렴을 저해하는 페더레이티드 러닝에서의 통계적 이종성과 저조회도 문제를 다루기.
• 분산 뉴턴형 방법인 비정확한 DANE 알고리즘을 페더레이티드 환경에 적응시켜 수렴 안정성을 향상시키기.
• 저조회도 및 이종 데이터 환경에서 볼록 및 비볼록 목표함수에 대해 FedDANE의 이론적 수렴 보장을 제공하기.
• 실제 페더레이티드 러닝 시나리오에서 FedAvg 및 FedProx와의 실험적 평가를 통해 FedDANE의 실용적 타당성 평가하기.
• 페더레이티드 최적화에서 기울기 보정 항과 비정확한 헤시안 근사의 한계를 규명하여 향후 방법 설계에 통찰 제공하기.

제안 방법

• 전체 네트워크 기울기 계산을 피하기 위해 일부 기기에서의 기울기 추정을 통해 전역 기울기를 근사화함으로써 비정확한 DANE를 페더레이티드 러닝에 적응시킴.
• 지역 하위문제를 정의하여 프록시탈 항과 기울기 보정 항을 포함함으로써 근사 뉴턴형 업데이트 방향을 가능하게 함.
• 두 라운드 통신 프로토콜을 사용: 첫 번째 라운드는 일부 기기로부터 지역 기울기를 수거하고, 두 번째 라운드는 업데이트된 모델을 서버로 전송함.
• 프록시탈 항의 안정성과 강력한 볼록성을 보장하기 위해 벌점 파rameter μ를 도입함.
• 전역 모델 업데이트 전에 각 기기가 다수의 지역 에포크를 수행하도록 허용함으로써 통신과 계산의 균형을 맞춤.
• 헤시안과 리프슈츠 상수에 대한 온건한 가정 하에 볼록 및 비볼록 목표함수에 대해 적용하고, 이론적 수렴 분석을 수행함.

실험 결과

연구 질문

• RQ1 저조회도 및 통계적 이종성이 있는 페더레이티드 러닝 환경에서 비정확한 DANE 프레임워크를 성공적으로 적응시킬 수 있는가?
• RQ2 비-i.i.d. 데이터를 가진 현실적인 페더레이티드 환경에서 FedDANE는 FedAvg 및 FedProx보다 더 빠른 수렴을 달성하는가?
• RQ3 기기 참여율과 데이터 이종성이 FedDANE의 성능에 기존 기반선 대비 어떤 영향을 미치는가?
• RQ4 기울기 보정 항은 FedDANE의 실험적 성능에서 어떤 역할을 하는가? 실무에서 해로울 수 있는가?
• RQ5 이론적 수렴이 실무에서 언제 붕괴되는가? 주요 실패 모드는 무엇인가?

주요 결과

• FedDANE는 FEMNIST, Sent140, Shakespeare를 포함한 합성 및 실세계 페더레이티드 데이터셋에서 훈련 손실 감소 측면에서 FedAvg 및 FedProx에 지속적으로 열 劣한다.
• 78%의 기기 참여율과 기기당 한 개의 지역 에포크라는 극단적이고 유리한 조건에서도 FedDANE는 FedAvg 및 FedProx의 성능을 따라잡지 못한다.
• 성능 열 劣의 주요 원인은 저조회도로 인한 비정확한 기울기 추정과 기기 간 통계적 이종성이다.
• 이론적으로 유용한 기울기 보정 항은 실무에서는 불안정성을 유발하고 수렴 속도를 저하시킨다.
• 실험 결과에 따르면, 기울기 보정 없이 프록시탈 항만 사용하는 FedProx가 더 뛰어난 성능을 내며, 계산 오버헤드도 적다.
• FedDANE의 두 라운드 통신 요구사항은 지연과 통신 비용을 증가시켜, 이론적 이점에도 불구하고 실무적 매력도가 낮아진다.