[論文レビュー] FedNL: Making Newton-Type Methods Applicable to Federated Learning

Mher Safaryan, Rustem Islamov+2 more|arXiv (Cornell University)|Jun 5, 2021

Privacy-Preserving Technologies in Data参考文献 34被引用数 12

ひとこと要約

この論文では、フェデレーテッド設定における効率的でプライバシー保護型の2次最適化を可能にする、新しいフェデレーテッド・ニュートン型最適化手法のファミリーであるFedNLを紹介する。Hessian学習を生データから分離し、収縮圧縮（例：Top-K、Rank-R）を活用することで、条件数、データサイズ、圧縮分散に依存しない局所収束を達成する。実験では、最先端の通信効率を示した。

ABSTRACT

Inspired by recent work of Islamov et al (2021), we propose a family of Federated Newton Learn (FedNL) methods, which we believe is a marked step in the direction of making second-order methods applicable to FL. In contrast to the aforementioned work, FedNL employs a different Hessian learning technique which i) enhances privacy as it does not rely on the training data to be revealed to the coordinating server, ii) makes it applicable beyond generalized linear models, and iii) provably works with general contractive compression operators for compressing the local Hessians, such as Top-$K$ or Rank-$R$, which are vastly superior in practice. Notably, we do not need to rely on error feedback for our methods to work with contractive compressors. Moreover, we develop FedNL-PP, FedNL-CR and FedNL-LS, which are variants of FedNL that support partial participation, and globalization via cubic regularization and line search, respectively, and FedNL-BC, which is a variant that can further benefit from bidirectional compression of gradients and models, i.e., smart uplink gradient and smart downlink model compression. We prove local convergence rates that are independent of the condition number, the number of training data points, and compression variance. Our communication efficient Hessian learning technique provably learns the Hessian at the optimum. Finally, we perform a variety of numerical experiments that show that our FedNL methods have state-of-the-art communication complexity when compared to key baselines.

研究の動機と目的

• フェデレーテッド学習におけるスケーラブルでプライバシー保護型の2次最適化手法の欠如に対処すること。
• 訓練データの公開を要する従来のニュートン・ラーニングフレームワークの限界を克服し、一般の圧縮に対して耐性を持つこと。
• サーバーでの訓練データに依存しない通信効率の高いHessian学習メカニズムを開発すること。
• 誤差フィードバックなしで一般の収縮圧縮に対して収束のロバスト性を保証すること。
• 実用的導入を目的に、部分参加、グローバライゼーション（ラインサーチ、立方体正則化）、双方向圧縮をFedNLに拡張すること。

提案手法

• 訓練データをサーバーに直接暴露せずに、圧縮された局所Hessian差分を用いてグローバルHessianを推定する新しいHessian学習技術を提案する。
• Top-K、Rank-Rなど、収縮圧縮演算子を局所Hessianに適用し、誤差フィードバックがなくても保証された収束性を有する。
• 複数の変種を導入：FedNL-PP（部分参加）、FedNL-LS（ラインサーチグローバライゼーション）、FedNL-CR（立方体正則化）、FedNL-BC（双方向圧縮）。
• 2段階更新を採用：まず圧縮された差分による局所Hessian補正を行い、次に学習率αを用いたグローバルHessian更新を行う。
• 勾配およびHessian更新における圧縮誤差を考慮する新しいHessian補正メカニズムを適用する。
• データに依存しないHessian学習戦略を採用し、一般線形モデルを超える応用が可能になる。

実験結果

リサーチクエスチョン

• RQ1 訓練データをサーバーに公開せずに、フェデレーテッド学習における2次最適化手法を実用化可能か？
• RQ2 Top-KやRank-Rのような収縮圧縮演算子を、誤差フィードバックなしでフェデレーテッド・ニュートン法のHessian更新に効果的に適用可能か？
• RQ3 提案されたHessian学習技術は、条件数、データポイント数、圧縮分散に依存しない収束性を達成するか？
• RQ4 FedNLの変種は、部分参加、グローバライゼーション、双方向圧縮をサポートしながらも収束性を維持できるか？
• RQ5 通信効率および収束速度の観点で、FedNLは既存のベースラインと比べてどのように差をつけるか？

主な発見

• FedNLは、条件数、データポイント数、圧縮分散に依存しない収束速度で局所収束を達成する。
• 提案されたHessian学習技術は、生の訓練データへのアクセスを必要とせず、最適解におけるHessianを保証的に学習する。
• FedNL-BCは、上行リンク勾配と下行リンクモデルのスマートな圧縮を可能にすることで、通信効率を向上させる。
• 数値実験では、さまざまな設定においてFedNLが主要なベースラインを上回る通信複雑度を示した。
• 誤差フィードバックが不要な一般の収縮圧縮器（例：Top-K、Rank-R）に対しても、FedNLは収束性を維持する。
• FedNL-LSとFedNL-CRは、それぞれラインサーチと立方体正則化を用いて、同一の仮定下でグローバル収束を達成した。