[論文レビュー] Federated Learning with Personalization Layers

Manoj Ghuhan Arivazhagan, Vinay K. Aggarwal+2 more|arXiv (Cornell University)|Dec 2, 2019

Privacy-Preserving Technologies in Data参考文献 10被引用数 517

ひとこと要約

FedPer は、分散学習のための base + personalization レイヤーアーキテクチャを導入し、FedAvg で訓練されたグローバルな base レイヤーと、統計的異質性に対処するためにデバイス上で訓練されるローカルな personalization レイヤーを用いて、FedAvg と比較して非 IID CIFAR パーティションおよび Flickr-AES での性能を改善する。

ABSTRACT

The emerging paradigm of federated learning strives to enable collaborative training of machine learning models on the network edge without centrally aggregating raw data and hence, improving data privacy. This sharply deviates from traditional machine learning and necessitates the design of algorithms robust to various sources of heterogeneity. Specifically, statistical heterogeneity of data across user devices can severely degrade the performance of standard federated averaging for traditional machine learning applications like personalization with deep learning. This paper pro-posesFedPer, a base + personalization layer approach for federated training of deep feedforward neural networks, which can combat the ill-effects of statistical heterogeneity. We demonstrate effectiveness ofFedPerfor non-identical data partitions ofCIFARdatasetsand on a personalized image aesthetics dataset from Flickr.

研究の動機と目的

• パーソナライゼーションタスクのための連合学習における統計的異質性の課題を動機づける。
• ユーザー固有情報をモデル化するための base + personalization レイヤーモデルを提案する。
• baseレイヤーには FedAvg を、パーソナライゼーションレイヤーには局所SGDを組み合わせた FedPer アルゴリズムを開発する。
• 非同一分割の CIFAR データセットと Flickr-AES データセットで効果を示す。

提案手法

• 共有 base レイヤーとクライアント固有の personalization レイヤーを備えたニューラルネットワークを定義する。
• base レイヤーを FedAvg によってグローバルに訓練し、 personalization レイヤーを各デバイス上で局所的に訓練する。
• サーバーは base レイヤーの重みをクライアント重み付き平均で集約する； personalization レイヤーはデバイス上に留まる。
• グローバル集約間で base および personalization レイヤーの更新に SGD を用いる。
• 非 IID データパーティションと多様な personalization レイヤー構成に対して評価する。

実験結果

リサーチクエスチョン

• RQ1 非同一のデータ分割下で personalization レイヤーは連合学習の性能にどのように影響するか？
• RQ2 クライアント間の精度と公平性に対する personalization レイヤーの数の影響は何か？
• RQ3 personalization レイヤーがユーザー固有の側面を捉えた場合、base レイヤーは依然として意味のある表現を学習するか？
• RQ4 CIFAR-10/100 および Flickr-AES のようなデータセットで、FedPer は標準の FedAvg とどのように比較されるか？
• RQ5 FedPer は centralized data sharing に頼らずにモデルのパーソナライゼーションを実現できるか？

主な発見

• FedPer は異種データ分割下で FedAvg より速く収束し、クライアント平均テスト精度が高い。
• FedPer はクライアント間のパフォーマンス変動を低減し、ユーザー間の公平性を向上させる。
• Flickr-AES のパーソナライゼーションタスクでは FedAvg は性能が低い一方、FedPer は personalization レイヤーを通じてユーザーの嗜好を捉える。
• パーソナライゼーションレイヤーを増やすことは一般に有益であるが、データセットとアーキテクチャによって効果が異なる。
• ラウンド間の personalization レイヤーのファインチューニングは、いくつかの設定（CIFAR-100）でクライアント性能をさらに向上させる可能性があるが、Flickr-AES では結果が分散する。