[論文レビュー] LotteryFL: Personalized and Communication-Efficient Federated Learning with Lottery Ticket Hypothesis on Non-IID Datasets

Ang Li, Jingwei Sun+5 more|arXiv (Cornell University)|Aug 7, 2020

Privacy-Preserving Technologies in Data参考文献 25被引用数 73

ひとこと要約

LotteryFLは、クライアントごとに lottery ticket subnetworks (LTNs) を訓練・交換することで連合学習を個別化し、非IIDデータ上で通信コストを抑えつつより良い個別化を達成する。

ABSTRACT

Federated learning is a popular distributed machine learning paradigm with enhanced privacy. Its primary goal is learning a global model that offers good performance for the participants as many as possible. The technology is rapidly advancing with many unsolved challenges, among which statistical heterogeneity (i.e., non-IID) and communication efficiency are two critical ones that hinder the development of federated learning. In this work, we propose LotteryFL -- a personalized and communication-efficient federated learning framework via exploiting the Lottery Ticket hypothesis. In LotteryFL, each client learns a lottery ticket network (i.e., a subnetwork of the base model) by applying the Lottery Ticket hypothesis, and only these lottery networks will be communicated between the server and clients. Rather than learning a shared global model in classic federated learning, each client learns a personalized model via LotteryFL; the communication cost can be significantly reduced due to the compact size of lottery networks. To support the training and evaluation of our framework, we construct non-IID datasets based on MNIST, CIFAR-10 and EMNIST by taking feature distribution skew, label distribution skew and quantity skew into consideration. Experiments on these non-IID datasets demonstrate that LotteryFL significantly outperforms existing solutions in terms of personalization and communication cost.

研究の動機と目的

• 連合学習における統計的ヘテロ性（非IIDデータ）に対処するため、クライアントごとの個別化を可能にする。
• フルモデルの代わりにコンパクトな lottery ticket subnetworks を伝送して、FL の通信オーバーヘッドを削減する。
• Lottery Ticket 仮説を活用して、各クライアントのデータに適したスパースで訓練可能なサブネットワークを特定する。
• 非IID条件下でのFL研究を促進するために、非IIDデータセットとデータヘテロ性を定量化する指標を提供する。

提案手法

• 各クライアントは、ローカルデータを用いて基盤モデルをプルーニングすることで Lottery Ticket Network (LTN) を学習する。
• サーバとクライアント間で伝送されるのはLTNのみであり、サーバはFedAvgによりLTNを集約する。
• LTNは共通のベースラインから再初期化され、局所データへ適応するようにラウンドごとに再プルーニングされる。
• クライアント検証がプルーニングとマスク更新を管理し、次のラウンドの個別化マスクを生成する。
• サーバはクライアントから受信したLTNを集約してグローバル基盤モデルを更新する。
• 新しい非IIDデータ生成プロトコルと Client-Wise Non-IID Index (CNI) 指標を導入する。

実験結果

リサーチクエスチョン

• RQ1 LotteryFLは標準的なFLベースラインと比較して、非IIDデータ上でより良い個別化を実現しますか？
• RQ2 LTNをフルモデルの代わりに交換することで通信コストを大幅に削減できますか？
• RQ3 CNIで測定される非IIDデータの程度は、LotteryFLの性能にどのように影響しますか？
• RQ4 個別化FL設定におけるプルーニング率とモデル性能のトレードオフはどうなりますか？

主な発見

• LotteryFLは、MNIST、CIFAR-10、EMNISTの非IIDデータセットにおいて、FedAvg、LG-FedAvg、Standaloneベースラインと比較して、卓越した個別化と低い通信コストを達成する。
• LTNsは高度にスパースで個別化されており、プルーニングが進むと多くのパラメータが個々のクライアントに固有になる。
• ターゲットプルーニング率を上げると、各レイヤーの個別化パラメータの割合が一般に増加し、精度を維持または向上させる。
• 1ラウンドあたりの参加クライアント数が増えると、すべての手法で個別化が向上するが、LotteryFLが最も良い性能と最小の通信コストを維持する。
• 各クライアントあたりのクラスごとのデータ量（サンプル数）が多いほど収束が速くなり、さらなる積極的なプルーニングと追加の通信削減を実現できる。
• 著者らは、クライアント間のデータヘテロ性を簡易な固定エンコーダベースの指標として提案・検証した、Client-Wise Non-IID Index (CNI)。