[論文レビュー] FedNew: A Communication-Efficient and Privacy-Preserving Newton-Type Method for Federated Learning

Anis Elgabli, Chaouki Ben Issaid+4 more|arXiv (Cornell University)|Jun 17, 2022

Stochastic Gradient Optimization Techniques被引用数 4

ひとこと要約

FedNewは、直接的なヘシアンおよび勾配の送信を、反復毎に1回のADMMステップと確率的量子化を用いた逆ヘシアン・勾配積の近似に置き換えることで、通信効率が高く、プライバシーを保護するフェデレーテッドラーニングフレームワークを提案する。この手法により、第一順位の方法よりも高速に収束し、正確なヘシアンに基づく手法と比較して通信コストを最大10倍まで削減しながら、クライアントのプライバシーを維持する。

ABSTRACT

Newton-type methods are popular in federated learning due to their fast convergence. Still, they suffer from two main issues, namely: low communication efficiency and low privacy due to the requirement of sending Hessian information from clients to parameter server (PS). In this work, we introduced a novel framework called FedNew in which there is no need to transmit Hessian information from clients to PS, hence resolving the bottleneck to improve communication efficiency. In addition, FedNew hides the gradient information and results in a privacy-preserving approach compared to the existing state-of-the-art. The core novel idea in FedNew is to introduce a two level framework, and alternate between updating the inverse Hessian-gradient product using only one alternating direction method of multipliers (ADMM) step and then performing the global model update using Newton's method. Though only one ADMM pass is used to approximate the inverse Hessian-gradient product at each iteration, we develop a novel theoretical approach to show the converging behavior of FedNew for convex problems. Additionally, a significant reduction in communication overhead is achieved by utilizing stochastic quantization. Numerical results using real datasets show the superiority of FedNew compared to existing methods in terms of communication costs.

研究の動機と目的

• ヘシアンと勾配の情報の送信を要する第二順位のフェデレーテッドラーニング手法に内在する高い通信コストとプライバシー漏洩の問題を解決すること。
• パラメータサーバーに原始的な勾配やヘシアンを暴露せずに、第二順位の情報を利用した高速な収束を実現するフレームワークを開発すること。
• 第一順位の手法と同等の通信効率を達成しつつ、ニュートン型手法の収束速度の利点を維持すること。
• ADMMに基づく二段階最適化フレームワークにより、勾配およびヘシアンデータを隠匿することでプライバシーを確保すること。
• 確率的量子化を統合して、収束性能に影響を与えることなく通信オーバーヘッドをさらに削減すること。

提案手法

• 二段階最適化フレームワークを導入：内側の段階では、反復毎に1回のADMMステップのみを用いて逆ヘシアン・勾配積を近似し、外側の段階ではニュートンに類似した更新を実行する。
• ADMMを用いて内側の問題を効率的に解き、完全なヘシアンの計算や送信を回避しつつ、高速な収束を実現する。
• 逆ヘシアン・勾配積を $(\nabla^2 f(x^k))^{-1} \nabla f(x^k)$ または固定された初期ヘシアンバージョン $(\nabla^2 f(x^0))^{-1} \nabla f(x^k)$ として近似することで、計算コストを低減する。
• モデル更新の圧縮に確率的量子化を適用し、クライアントごとの送信ビット数を著しく削減する。
• クライアントが原始的な勾配やヘシアンを送信しないようにアルゴリズムを設計し、代わりに圧縮され、プライバシーを保護した近似値を送信する。
• 凸性の仮定の下で、非正確なニュートン方向への漸近的収束を証明し、実データセットを用いた実証的検証により、安定した性能を示す。

実験結果

リサーチクエスチョン

• RQ1 第二順位のフェデレーテッドラーニング手法が、原始的な勾配やヘシアンを送信せずに高速に収束させることができ、クライアントのプライバシーを保護できるか？
• RQ2 反復毎に1回のADMMステップで、逆ヘシアン・勾配積の近似に十分な精度を達成でき、収束性を維持できるか？
• RQ3 量子化によって通信コストをどの程度削減できるか、収束速度とモデル精度を損なわずに行えるか？
• RQ4 通信ラウンド数および通信ビット数の観点から、FedNewは第一順位の手法（FedGD）および正確なヘシアンに基づく手法（Newton Zero）と比べてどの程度の性能を示すか？
• RQ5 初期反復からの固定ヘシアン（例：$x^0$ でのヘシアン）を用いることで、計算オーバーヘッドを低減しながらも収束速度を維持できるか？

主な発見

• 反復毎にヘシアンを更新する FedNew-(r=1) は、FedGD よりも高速に収束し、Newton Zero と同等の収束速度を達成し、通信ラウンド数を最小限に抑えて最適な性能を発揮する。
• 初期ヘシアンを固定する FedNew-(r=0) は、Newton Zero と同等の収束速度を達成しながら、プライバシーを保護し、計算量を最大10倍まで削減する。
• 10回に1回の頻度でヘシアンを更新する FedNew-(r=0.1) は、FedNew-(r=1) とほぼ同等の収束速度を達成しながら、計算量を10倍まで削減する。
• Q-FedNew（FedNewの量子化版）は、FedNew-(r=1) と比較して通信ビット数を最大10倍まで削減しながら、同じ最適性ギャップを維持し、顕著な通信コスト削減を実現する。
• w8a データセットでは、Q-FedNew-(r=1) は、FedNew-(r=1) よりもほぼ10倍少ない送信ビット数で最適性ギャップ $10^{-3}$ を達成し、量子化の有効性を実証する。
• Newton Zero は、完全なヘシアンの送信に起因して初期段階で高い通信コストを負うため、大規模なフェデレーテッドラーニングには実用的でない。一方、FedNew はこのボトルネックを完全に回避する。