[論文レビュー] Self-Aware Personalized Federated Learning

Huili Chen, Jie Ding+5 more|arXiv (Cornell University)|Apr 17, 2022

Privacy-Preserving Technologies in Data被引用数 4

ひとこと要約

本稿では、ベイジアン階層モデルからの不確実性評価を用いて、局所的パーソナライゼーションとグローバルモデルの集約のバランスを自動で調整する、自己認識型パーソナライズドフェデレーテッドラーニング（Self-FL）という新しいフレームワークを提案する。クライアント間およびクライアント内での不確実性から、クライアント固有のトレーニングステップと集約ルールを導出することで、ハイパーパラメータチューニングを必要とせず、合成データ、MNIST、FEMNIST、CIFAR10、Sent140、および実世界のAlexa音声データにおいて、FedAvg、DITTO、PerFedAvgを凌駕するパーソナライゼーション性能を達成する。

ABSTRACT

In the context of personalized federated learning (FL), the critical challenge is to balance local model improvement and global model tuning when the personal and global objectives may not be exactly aligned. Inspired by Bayesian hierarchical models, we develop a self-aware personalized FL method where each client can automatically balance the training of its local personal model and the global model that implicitly contributes to other clients' training. Such a balance is derived from the inter-client and intra-client uncertainty quantification. A larger inter-client variation implies more personalization is needed. Correspondingly, our method uses uncertainty-driven local training steps and aggregation rule instead of conventional local fine-tuning and sample size-based aggregation. With experimental studies on synthetic data, Amazon Alexa audio data, and public datasets such as MNIST, FEMNIST, CIFAR10, and Sent140, we show that our proposed method can achieve significantly improved personalization performance compared with the existing counterparts.

研究の動機と目的

• 局所的モデルのパーソナライゼーションとグローバルモデルの集約を、局所的およびグローバルな目的が不一致となる状況でバランスさせる課題に対処すること。
• ヒューリスティックまたはサイズベースのルールではなく、統計的不確実性に基づいてトレーニングと集約を自動で適応させる手法を開発すること。
• パーソナライズドフェデレーテッドラーニングとベイジアン階層モデリングの間の原理的つながりを確立し、理論的および実験的性能を向上させること。
• クライアントごとに組み込みの自動チューニングを可能にすることで、ハイパーパラメータチューニングへの依存を低減し、FL開発者の使いやすさを向上させること。
• 実世界の非IID音声データ（Amazon Alexaデバイスからのもの）を含む多様なデータ分布上で、手法を評価すること。

提案手法

• 本手法は、クライアント間の不確実性がクライアント間の分布差を捉え、クライアント内での不確実性が局所データのばらつきをモデル化する2段階のベイジアン階層モデルに裏打ちされている。
• Self-FLは、クライアントのデータの非同一性と不確実性推定に基づいて、不確実性駆動の局所的トレーニングステップを採用し、適応的に変化させる。
• 集約ルールは不確実性評価から導出され、従来のサンプル数に基づく重み付けを、統計的に妥当なアプローチに置き換える。
• 通信および計算のオーバーヘッドがFedAvgと同等のまま、実用的なディープラーニング版のSelf-FLが提案されている。
• 開発者の負担を軽減するため、手動によるハイパーパラメータ調整を必要とせず、クライアント固有のトレーニングを自動でチューニングする。
• 階層モデル設定における理論的収束性が裏付けられており、適応的メカニズムの分析的根拠が提供される。

実験結果

リサーチクエスチョン

• RQ1 フェデレーテッドラーニングにおけるパーソナライゼーション性能の理論的上限は何か？ そして、不確実性評価を用いてその上限に近づく方法は？
• RQ2 グローバルモデルは、生データを共有せずに、クライアント間で有用な情報を効果的に転送する中間媒介としてどのように機能できるか？
• RQ3 クライアント間のデータ分布の差に応じて、局所的トレーニングとモデル集約をどのように適応的にキャリブレーションできるか？
• RQ4 不確実性評価は、ヒューリスティックまたはサイズベースの集約ルールを置き換え、非IID環境下でのパーソナライゼーションを向上させることができるか？
• RQ5 手動によるハイパーパラメータ設定を必要とせず、クライアントごとにパーソナライズドFLを自動チューニングすることは可能か？

主な発見

• Self-FLはデバイス型Aにおいて相対的誤検知率（0.92）が最低となり、グローバルモデル評価において全デバイスタイプで一貫してすべてのベースラインを上回った。
• パーソナライズドモデル性能において、Self-FLは全デバイスタイプで相対的FA値が0.90～0.99を達成し、FedAvg-e（0.95～0.98）、DITTO-e（0.96～0.96）、PerFedAvg（1.02～1.11）を顕著に上回った。
• サンプル数に基づく集約（FedAvg-wおよびDITTO-w）はグローバルモデル性能を劣化させ、相対的FA値が最大12.80に達した。これは、高レベルのデータ非同一性下ではサイズベースの重み付けが失敗することを示している。
• アブレーションスタディにより、Self-FLはクライアントサンプリング下でも強固な性能を維持していることが確認され、現実のFL設定における耐障害性が裏付けられた。
• 実世界のAlexa音声データにおいて、Self-FLは顕著な非IID性（発音、ノイズ、デバイス固有の特性）を示すデータ分布において、優れたパーソナライゼーション性能を達成した。
• 知られている限り、Self-FLはパーソナライズドFLと階層モデリングを正式に結びつけ、不確実性評価を用いて適応的トレーニングと集約を駆動する最初の手法である。