[논문 리뷰] FedNL: Making Newton-Type Methods Applicable to Federated Learning

Mher Safaryan, Rustem Islamov외 2명|arXiv (Cornell University)|2021. 06. 05.

Privacy-Preserving Technologies in Data참고 문헌 34인용 수 12

한 줄 요약

이 논문은 페더레이티드 환경에서 효율적이고 프라이버시를 보장하는 2차 최적화 학습을 가능하게 하는 새로운 유형의 페더레이티드 뉴턴형 최적화 방법인 FedNL을 소개한다. 헤시안 행렬 학습을 원시 데이터에서 분리하고, 수축 압축(예: Top-K, Rank-R)을 활용하여 조건수, 데이터 크기, 압축 분산과 무관하게 국소 수렴을 달성한다. 실험을 통해 기존의 최고 수준의 통신 효율성을 입증하였다.

ABSTRACT

Inspired by recent work of Islamov et al (2021), we propose a family of Federated Newton Learn (FedNL) methods, which we believe is a marked step in the direction of making second-order methods applicable to FL. In contrast to the aforementioned work, FedNL employs a different Hessian learning technique which i) enhances privacy as it does not rely on the training data to be revealed to the coordinating server, ii) makes it applicable beyond generalized linear models, and iii) provably works with general contractive compression operators for compressing the local Hessians, such as Top-$K$ or Rank-$R$, which are vastly superior in practice. Notably, we do not need to rely on error feedback for our methods to work with contractive compressors. Moreover, we develop FedNL-PP, FedNL-CR and FedNL-LS, which are variants of FedNL that support partial participation, and globalization via cubic regularization and line search, respectively, and FedNL-BC, which is a variant that can further benefit from bidirectional compression of gradients and models, i.e., smart uplink gradient and smart downlink model compression. We prove local convergence rates that are independent of the condition number, the number of training data points, and compression variance. Our communication efficient Hessian learning technique provably learns the Hessian at the optimum. Finally, we perform a variety of numerical experiments that show that our FedNL methods have state-of-the-art communication complexity when compared to key baselines.

연구 동기 및 목표

• 페더레이티드 학습에서 확장 가능하고 프라이버시를 보장하는 2차 최적화 방법의 부족을 해결하기 위해.
• 기존의 뉴턴 러닝 프레임워크가 데이터 유출을 요구하고 일반적인 압축에 대해 강건성이 부족한 점을 극복하기 위해.
• 서버에서 학습 데이터에 의존하지 않는 통신 효율적인 헤시안 학습 메커니즘을 개발하기 위해.
• 오차 피드백 없이 일반적인 수축 압축에 대해 수렴 강건성을 확보하기 위해.
• 실제 구현을 위해 부분 참여, 글로벌라이제이션(선형 탐색, 큐빅 정규화), 이중 방향 압축을 FedNL에 확장하기 위해.

제안 방법

• 원시 학습 데이터를 서버에 직접 노출시키지 않고 압축된 국소 헤시안 차이를 이용해 글로벌 헤시안을 추정하는 새로운 헤시안 학습 기법을 제안한다.
• Top-K, Rank-R 등 수축 압축 연산자(예: Top-K, Rank-R)를 국소 헤시안에 적용하며, 오차 피드백 없이도 증명 가능한 수렴성을 확보한다.
• 다양한 변종 도입: FedNL-PP(부분 참여), FedNL-LS(선형 탐색 글로벌라이제이션), FedNL-CR(큐빅 정규화), FedNL-BC(이중 방향 압축).
• 두 단계 업데이트: 압축된 차이를 통한 국소 헤시안 보정, 다음으로 학습률 α를 사용한 글로벌 헤시안 업데이트.
• 기울기 및 헤시안 업데이트에서 압축 오차를 고려하는 새로운 헤시안 보정 메커니즘을 적용한다.
• 데이터 무관 헤시안 학습 전략을 활용하여 일반 선형 모델을 초월한 적용 가능성을 확보한다.

실험 결과

연구 질문

• RQ1 학습 데이터를 서버에 노출시키지 않고도 페더레이티드 학습에서 2차 최적화 방법을 실용적으로 구현할 수 있는가?
• RQ2 오차 피드백 없이도 Top-K나 Rank-R와 같은 수축 압축 연산자를 페더레이티드 뉴턴 방법의 헤시안 업데이트에 효과적으로 적용할 수 있는가?
• RQ3 제안된 헤시안 학습 기법이 조건수, 데이터 포인트 수, 압축 분산과 무관하게 수렴하는가?
• RQ4 FedNL 변종이 부분 참여, 글로벌라이제이션, 이중 방향 압축을 지원하면서도 수렴성을 유지하는가?
• RQ5 기존 기준 대비 통신 효율성과 수렴 속도 측면에서 FedNL은 어떻게 비교되는가?

주요 결과

• FedNL은 조건수, 데이터 포인트 수, 압축 분산과 무관하게 수렴 속도가 독립된 국소 수렴을 달성한다.
• 제안된 헤시안 학습 기법은 원시 학습 데이터에 접근하지 않더라도 최적점에서의 헤시안을 증명 가능하게 학습한다.
• FedNL-BC는 스마트한 업링크 기울기 및 다운링크 모델 압축을 통해 통신 효율성을 향상시킨다.
• 수치 실험 결과, 다양한 설정에서 FedNL이 주요 기준 대비 통신 복잡도에서 뛰어난 성능을 보였다.
• 오차 피드백 없이도 일반적인 수축 압축기(예: Top-K, Rank-R)에서 수렴성을 유지한다.
• FedNL-LS와 FedNL-CR은 각각 선형 탐색과 큐빅 정규화를 통해 동일한 가정 조건 하에서 글로벌 수렴을 성공적으로 달성한다.