[論文レビュー] Federated Block Coordinate Descent Scheme for Learning Global and Personalized Models

Ruiyuan Wu, Anna Scaglione+4 more|arXiv (Cornell University)|Dec 27, 2020

Privacy-Preserving Technologies in Data参考文献 29被引用数 6

ひとこと要約

本稿では、階層的クラウドエッジ通信アーキテクチャを活用することで、フェデレーテッドラーニングにおけるグローバルモデルとパーソナライズドモデルの共同最適化を実現するフェデレーテッドブロック座標降下手法を提案する。クラウドサーバー間での非同期更新を可能にするとともに、二次罰則定式化を用いてモデルのパーソナライズを実現し、同期手法と比較して部分線形収束性と低遅延を達成する。

ABSTRACT

In federated learning, models are learned from users' data that are held private in their edge devices, by aggregating them in the service provider's "cloud" to obtain a global model. Such global model is of great commercial value in, e.g., improving the customers' experience. In this paper we focus on two possible areas of improvement of the state of the art. First, we take the difference between user habits into account and propose a quadratic penalty-based formulation, for efficient learning of the global model that allows to personalize local models. Second, we address the latency issue associated with the heterogeneous training time on edge devices, by exploiting a hierarchical structure modeling communication not only between the cloud and edge devices, but also within the cloud. Specifically, we devise a tailored block coordinate descent-based computation scheme, accompanied with communication protocols for both the synchronous and asynchronous cloud settings. We characterize the theoretical convergence rate of the algorithm, and provide a variant that performs empirically better. We also prove that the asynchronous protocol, inspired by multi-agent consensus technique, has the potential for large gains in latency compared to a synchronous setting when the edge-device updates are intermittent. Finally, experimental results are provided that corroborate not only the theory, but also show that the system leads to faster convergence for personalized models on the edge devices, compared to the state of the art.

研究の動機と目的

• ユーザー固有のデータ習慣と非独立同分布（non-i.i.d.）データ分布を考慮した、フェデレーテッドラーニングにおけるモデルパーソナライズの課題を解決すること。
• 同期フェデレーテッドラーニングにおける異種エッジデバイスの計算および通信時間のばらつきによって引き起こされるトレーニング遅延を低減すること。
• モデルパーソナライズと非同期クラウドサーバー更新の両方をサポートする通信および計算フレームワークを設計すること。
• 同期および非同期設定下での収束性および遅延性能について理論的分析を行うこと。

提案手法

• マスタースレーブおよびマルチエージェントネットワークを用いた、クラウドエッジ間およびクラウド間通信をモデル化する階層的通信アーキテクチャを提案する。
• 双対変数を用いて、局所モデルとグローバルモデルを交互に更新するブロック座標降下に基づく計算スキームを導入する。
• グローバルモデルの精度と局所モデルのパーソナライズのバランスをとるために、二次罰則定式化を採用し、柔軟なトレードオフを可能にする。
• 同期および非同期クラウド設定にそれぞれ特化した通信プロトコルを設計し、非同期プロトコルはマルチエージェント協調技術にインspiredされている。
• 局所およびグローバル変数を勾配情報および協調誤差に基づいて更新する、双対に基づく更新メカニズムを採用する。
• リャプノフ関数を用いた収束分析を行い、確率的勾配下でO(1/√T)の部分線形収束レートを導出する。

実験結果

リサーチクエスチョン

• RQ1 フェデレーテッドラーニングフレームワークは、同時にパーソナライズド局所モデルと非同期クラウドサーバー更新をサポートできるか？
• RQ2 提案された階層的通信アーキテクチャは、従来の同期フェデレーテッドラーニングと比較してどのように遅延を低減するか？
• RQ3 非同期更新下での提案されたブロック座標降下アルゴリズムの理論的収束レートは何か？
• RQ4 二次罰則によるモデルパーソナライズは、非i.i.d.ユーザーデータ上でどのように性能を向上させるか？
• RQ5 途切れ途切れのエッジデバイス更新がシステム遅延に与える影響は何か？また、非同期プロトコルはこれを緩和できるか？

主な発見

• 提案されたアルゴリズムは、O(1/√T)の部分線形収束レートを達成し、確率的勾配下での理論的収束性を確認した。
• 非同期通信プロトコルは、同期設定と比較して顕著に遅延を低減し、特にエッジデバイスの更新が途切れ途切れの状況で顕著であった。
• エッジデバイスにおけるパーソナライズドモデルの収束が、最先端手法と比較してより速いことが実証された。
• 収束レートは、デバイス数、ステップサイズ、勾配分散を含む項によって上限が定められ、√Tおよび√Rに明示的な依存関係を示した。
• 二次罰則定式化により、グローバルモデルの品質と局所パーソナライズのバランスを取ることで、性能が向上した。
• 実験的結果は理論的分析を裏付け、提案手法が収束速度およびパーソナライズ精度の両面で既存手法を上回ることを示した。