[논문 리뷰] FedNew: A Communication-Efficient and Privacy-Preserving Newton-Type Method for Federated Learning

Anis Elgabli, Chaouki Ben Issaid외 4명|arXiv (Cornell University)|2022. 06. 17.

Stochastic Gradient Optimization Techniques인용 수 4

한 줄 요약

FedNew는 직접 헤시안과 기울기 전송을 대체하는 ADMM 기반의 역헤시안-기울기 곱의 교대 최적화 근사 기법을 사용하는 통신 효율적이고 프라이버시를 보장하는 분산학습 프레임워크를 제안한다. 각 반복에서 하나의 ADMM 단계와 확률적 양자화를 사용함으로써, 정확한 헤시안 기반 방법에 비해 통신 비용을 최대 10배까지 줄이고 클라이언트 프라이버시를 유지하면서도 일阶 방법보다 더 빠른 수렴을 달성한다.

ABSTRACT

Newton-type methods are popular in federated learning due to their fast convergence. Still, they suffer from two main issues, namely: low communication efficiency and low privacy due to the requirement of sending Hessian information from clients to parameter server (PS). In this work, we introduced a novel framework called FedNew in which there is no need to transmit Hessian information from clients to PS, hence resolving the bottleneck to improve communication efficiency. In addition, FedNew hides the gradient information and results in a privacy-preserving approach compared to the existing state-of-the-art. The core novel idea in FedNew is to introduce a two level framework, and alternate between updating the inverse Hessian-gradient product using only one alternating direction method of multipliers (ADMM) step and then performing the global model update using Newton's method. Though only one ADMM pass is used to approximate the inverse Hessian-gradient product at each iteration, we develop a novel theoretical approach to show the converging behavior of FedNew for convex problems. Additionally, a significant reduction in communication overhead is achieved by utilizing stochastic quantization. Numerical results using real datasets show the superiority of FedNew compared to existing methods in terms of communication costs.

연구 동기 및 목표

• 헤시안과 기울기 정보 전송이 필요한 두계수 분산학습 방법에서 내재된 높은 통신 비용과 프라이버시 누출 문제를 해결한다.
• 원시 기울기나 헤시안을 파rameter 서버에 노출시키지 않고도 두계수 정보를 활용해 빠른 수렴을 달성할 수 있는 프레임워크를 개발한다.
• 일계수 방법 수준의 통신 효율성을 확보하면서도 뉴턴 유형 방법의 수렴 속도 우수성을 유지한다.
• ADMM 기반의 이중 최적화 프레임워크를 통해 기울기와 헤시안 데이터를 모두 은폐함으로써 프라이버시를 보장한다.
• 확률적 양자화를 통합하여 수렴 성능에 손상이 없이도 통신 오버헤드를 추가로 줄인다.

제안 방법

• 내부 수준에서는 각 반복에서 하나의 ADMM 단계만을 사용하여 역헤시안-기울기 곱을 근사하는 이중 최적화 프레임워크를 도입하고, 외부 수준에서는 뉴턴 유사 업데이트를 수행한다.
• ADMM를 사용해 내부 문제를 효율적으로 해결함으로써 전체 헤시안 계산이나 전송 없이도 빠른 수렴을 달성한다.
• 계산 비용을 줄이기 위해 역헤시안-기울기 곱을 $(\nabla^2 f(x^k))^{-1} \nabla f(x^k)$ 또는 고정된 초기 헤시안 버전 $(\nabla^2 f(x^0))^{-1} \nabla f(x^k)$로 근사한다.
• 모델 업데이트를 압축하기 위해 확률적 양자화를 적용하여 클라이언트당 전송되는 비트 수를 크게 줄인다.
• 클라이언트가 원시 기울기나 헤시안을 전송하지 않도록 알고리즘을 설계하여, 오직 압축된 프라이버시 보호 근사값만을 전송한다.
• 볼록성 가정 하에 점점 더 정확한 뉴턴 방향으로 수렴하는 것을 증명하고, 실제 데이터셋에서의 실험을 통해 안정적인 성능을 입증한다.

실험 결과

연구 질문

• RQ1 두계수 분산학습 방법이 원시 기울기나 헤시안을 전송하지 않으면서도 클라이언트 프라이버시를 보장하면서도 빠른 수렴을 달성할 수 있는가?
• RQ2 각 반복에서 하나의 ADMM 단계만으로도 역헤시안-기울기 곱을 충분히 정확하게 근사할 수 있으며, 수렴 성능에 영향을 주지 않는가?
• RQ3 양자화를 통해 통신 비용을 얼마나 줄일 수 있으며, 수렴 속도와 모델 정확도를 유지할 수 있는가?
• RQ4 통신 라운드 수와 비트 수 측면에서 FedNew는 일계수 방법(FedGD)과 정확한 헤시안 기반 방법(Newton Zero)에 비해 어떻게 성능을 내는가?
• RQ5 초기 반복에서 얻은 고정 헤시안을 사용할 경우, 계산 오버헤드를 줄이면서도 수렴 속도를 유지할 수 있는가?

주요 결과

• 모든 반복에서 헤시안을 업데이트하는 FedNew-(r=1)는 FedGD보다 더 빠른 수렴을 보이며, Newton Zero와 동일한 수렴 속도를 달성하여 최적의 성능과 최소한의 통신 횟수를 확보한다.
• 초기 반복에서의 고정 헤시안을 사용하는 FedNew-(r=0)는 Newton Zero와 유사한 수렴 속도를 유지하면서도 프라이버시를 보장하고 계산 비용을 최대 10배까지 줄였다.
• 10회 반복마다 헤시안을 업데이트하는 FedNew-(r=0.1)는 FedNew-(r=1)와 거의 동일한 수렴 속도를 달성하면서도 계산 비용을 10배 줄였다.
• FedNew의 양자화 변형인 Q-FedNew는 FedNew-(r=1) 대비 통신 비트 수를 최대 10배까지 줄였으며, 동일한 최적화 갭을 유지하여 뚜렷한 통신 절감 효과를 입증했다.
• w8a 데이터셋에서 Q-FedNew-(r=1)는 FedNew-(r=1)보다 거의 10배 적은 전송 비트로 $10^{-3}$의 최적화 갭을 달성하여, 양자화의 효과를 입증했다.
• Newton Zero는 전체 헤시안 전송으로 인해 초기 단계에서 높은 통신 비용을 유발하여 대규모 분산학습에 실용적이지 않지만, FedNew는 이와 같은 병목 현상을 완전히 피한다.