[論文レビュー] Multi-Task Federated Learning for Personalised Deep Neural Networks in Edge Computing

Jed Mills, Jia Hu+1 more|arXiv (Cornell University)|Jul 17, 2020

Privacy-Preserving Technologies in Data参考文献 40被引用数 17

ひとこと要約

本稿では、エッジコンピューティングにおけるパーソナライズド深層ニューラルネットワークの性能向上を図るために、バッチ正規化（BN）レイヤーをクライアント側でローカルに保持するMulti-Task Federated Learning（MTFL）を提案する。これにより、機密なモデルパラメータの共有を回避しつつ、収束が速くなり、ユーザーモデル精度（UA）が向上する。MTFLは、標準的なFedAvgと比較してトレーニングラウンドを最大5倍、FedAvg-Adamと比較して最大3倍まで削減し、最先端のパーソナライズドFL手法を上回る性能を発揮する。

ABSTRACT

Federated Learning (FL) is an emerging approach for collaboratively training Deep Neural Networks (DNNs) on mobile devices, without private user data leaving the devices. Previous works have shown that non-Independent and Identically Distributed (non-IID) user data harms the convergence speed of the FL algorithms. Furthermore, most existing work on FL measures global-model accuracy, but in many cases, such as user content-recommendation, improving individual User model Accuracy (UA) is the real objective. To address these issues, we propose a Multi-Task FL (MTFL) algorithm that introduces non-federated Batch-Normalization (BN) layers into the federated DNN. MTFL benefits UA and convergence speed by allowing users to train models personalised to their own data. MTFL is compatible with popular iterative FL optimisation algorithms such as Federated Averaging (FedAvg), and we show empirically that a distributed form of Adam optimisation (FedAvg-Adam) benefits convergence speed even further when used as the optimisation strategy within MTFL. Experiments using MNIST and CIFAR10 demonstrate that MTFL is able to significantly reduce the number of rounds required to reach a target UA, by up to $5 imes$ when using existing FL optimisation strategies, and with a further $3 imes$ improvement when using FedAvg-Adam. We compare MTFL to competing personalised FL algorithms, showing that it is able to achieve the best UA for MNIST and CIFAR10 in all considered scenarios. Finally, we evaluate MTFL with FedAvg-Adam on an edge-computing testbed, showing that its convergence and UA benefits outweigh its overhead.

研究の動機と目的

• 非IIDデータにおけるフェデレーテッドラーニング（FL）の課題に取り組むこと。これは収束性とグローバルモデル性能を妨げる要因である。
• コンテンツ推薦などの応用において、グローバルモデル精度よりも実際の目的である個々のユーザーのモデル精度（UA）を向上させること。
• パーソナライズドFLの通信およびストレージオーバーヘッドを低減すること。これには、完全なモデルのアップロードや追加のトレーニングステップを避けることが含まれる。
• BN統計などの機密なモデルパラメータを各クライアントにプライベートに保つことで、データプライバシーを維持すること。
• 異種のデバイスを備えた現実的なエッジコンピューティングテストベッドにおいて、MTFLの有効性を評価すること。

提案手法

• MTFLは、各クライアントでローカルにトレーニングされ、サーバーに共有されない非フェデレーテッドなバッチ正規化（BN）レイヤーを導入し、モデルのパーソナライズを可能にする。
• 本手法は、各クライアントが自らのBNパラメータを最適化しつつ、残りのDNN重みはフェデレーテッドアベレージングで共有するマルチタスク学習フレームワークを採用する。
• MTFLは、標準的なFL最適化アルゴリズム（例：FedAvg）と互換性があり、収束をさらに速くするための分散版Adam（FedAvg-Adam）へも拡張可能である。
• BNレイヤーのトレーニング可能なパラメータ（γ, β）のみをラウンド間でストレージおよび通信するため、ストレージおよび通信コストを顕著に削減できる。
• BNレイヤーがローカルデータ分布に適応することを活用することで、プライバシーを損なわず、ローカルモデルのパフォーマンスを向上させることができる。
• 実験では、非IIDデータ分割を用いたMNISTおよびCIFAR10を用い、UA、収束速度、通信効率を評価する。

実験結果

リサーチクエスチョン

• RQ1 完全なモデル共有なしにパーソナライズを可能にするフェデレーテッドラーニングフレームワークは、非IIDデータ環境下でユーザーモデル精度（UA）を向上させることができるか？
• RQ2 フェデレーテッド環境においてプライベートなBNレイヤーを用いることで、標準的なFedAvgと比較して、目標UAに到達するためのトレーニングラウンド数を削減できるか？
• RQ3 MTFLとFedAvg-Adamの組み合わせは、他のパーソナライズドFL手法と比較して、収束速度および最終的なUAにおいて優れた性能を示すか？
• RQ4 実世界のエッジコンピューティングテストベッドにおいて、MTFLの通信オーバーヘッドは、その性能向上に見合うものか？
• RQ5 MTFLは、ストレージおよび計算コストを抑えつつ、最先端のパーソナライズドFL手法を上回るUAを達成できるか？

主な発見

• MTFL（FedAvg）は、MNISTおよびCIFAR10の両方において、標準的なFedAvgと比較して、目標UAに到達するためのラウンド数を最大5倍まで削減した。
• MTFL内でのFedAvg-Adamの使用により、FedAvgと比較してさらに最大3倍のラウンド削減が達成され、収束速度の向上が明確に示された。
• MTFLは、MNISTおよびCIFAR10の両方において、全テストシナリオで最高の平均ユーザーモデル精度（UA）を達成し、Per-FedAvgおよびpFedMeを上回った。
• モデルパッチにトレーニング可能なBNパラメータ（γ, β）を用いることで、統計（μ, σ）を用いる場合よりも収束が速くなった。これは、パーソナライズにおいてこれらのパrameterの重要性を示している。
• 10台のRaspberry Piデバイスを備えた実際のMECテストベッドでは、MTFL(FedAvg-Adam)の通信コストの増加は、UAおよび収束速度の顕著な向上により上回られた。
• MTFLは、完全なモデルではなくBNレイヤーのパラメータのみをストレージおよび通信するため、競合するパーソナライズドFL手法と比較して、より低いストレージおよび計算オーバーヘッドを維持した。