[論文レビュー] Prototype Helps Federated Learning: Towards Faster Convergence

Yu Qiao, Seong-Bae Park+2 more|arXiv (Cornell University)|Mar 22, 2023

Privacy-Preserving Technologies in Data被引用数 7

ひとこと要約

この論文は、最終トレーニングラウンドでクライアントからのクラスプロトタイプを集約することで、分類器ヘッドへの依存を排除し、モデルの推論を向上させるプロトタイプベースのフェデレーテッドラーニングフレームワークを提案する。局所モデルの最終層からプロトタイプを計算・平均化することで、MNISTおよびFashion-MNISTにおける非IIDデータ設定下で、FedAvgおよびLocalベースラインと比較して少なくとも1%高いテスト精度とより速い収束を達成する。

ABSTRACT

Federated learning (FL) is a distributed machine learning technique in which multiple clients cooperate to train a shared model without exchanging their raw data. However, heterogeneity of data distribution among clients usually leads to poor model inference. In this paper, a prototype-based federated learning framework is proposed, which can achieve better inference performance with only a few changes to the last global iteration of the typical federated learning process. In the last iteration, the server aggregates the prototypes transmitted from distributed clients and then sends them back to local clients for their respective model inferences. Experiments on two baseline datasets show that our proposal can achieve higher accuracy (at least 1%) and relatively efficient communication than two popular baselines under different heterogeneous settings.

研究の動機と目的

• クライアント間で非IIDデータ分布が生じる場合のフェデレーテッドラーニングにおけるモデル推論の質の低下という課題に対処すること。
• 特にデータの非均一性が顕著な状況下で、分類器レイヤーに起因する予測バイアスを低減すること。
• 標準的なFLトレーニングパイプラインを最終ラウンド以外の部分で変更しない条件下で、収束速度とテスト精度を向上させること。
• 追加のオーバーヘッドを最小限に抑える通信効率の高い方法として、推論にクラスプロトタイプを活用すること。
• 非均一なFL環境下で、プロトタイプベースの推論が標準的な分類器ベースの推論を上回ることを実証すること。

提案手法

• クライアントは、自身のローカルデータに含まれる同じクラスのサンプルの最終層出力特徴量を平均することで、各クラスのプロトタイプを計算する。
• 最終グローバルラウンドにおいて、クライアントはモデルパラメータに加えてクラスプロトタイプをサーバーにアップロードし、集約を行う。
• サーバーは、全クライアントが提供するプロトタイプを用いて、式(3)に従い各クラスについてグローバルプロトタイプを平均計算する。
• 推論では、入力の最終層出力とグローバルプロトタイプとの間のL2距離が最小となるクラスを予測する。これは式(4)で定義される。
• この手法は標準的なFLにスムーズに統合可能であり、通信および推論プロセスが変更されるのは最終ラウンドのみである。
• 評価には、MNISTおよびFashion-MNISTに4層のCNN（2つの畳み込み層と2つの全結合層）を用いる。

実験結果

リサーチクエスチョン

• RQ1 非IIDデータ分布下のフェデレーテッドラーニングにおいて、プロトタイプベースの推論はモデルの精度を向上させ得るか？
• RQ2 最終ラウンドでクラスプロトタイプを集約することは、標準的なFL手法と比較して収束が速いか？
• RQ3 さまざまなデータスケイニング度合いの下で、提案手法はFedAvgおよびLocalトレーニングと比較して、精度および通信効率の点で優れているか？
• RQ4 プロトタイプ集約は、FLモデルの分類器レイヤーに起因するバイアスを緩和できるか？
• RQ5 プロトタイプベースの推論戦略は、異なるデータセットおよびデータ非均一性の度合いにおいても有効か？

主な発見

• α = 0.05のMNISTでは、Localベースラインと比較して18.9%高い精度を達成し、FedAvgと比較して2.4%高い精度を示した。
• α = 0.1のMNISTでは、Localベースラインと比較して31.5%高い精度を達成し、FedAvgと比較して1.0%高い精度を示した。
• α = 0.05のFashion-MNISTでは、Localベースラインと比較して1.4%高い精度を達成し、FedAvgと比較して14.3%高い精度を示した。
• α = 0.1のFashion-MNISTでは、Localベースラインと比較して18.4%高い精度を達成し、FedAvgと比較して7.4%高い精度を示した。
• テスト設定すべてにおいて、提案手法は両ベースラインと比較して少なくとも1%高いテスト精度を一貫して達成した。
• 提案手法は、通信ラウンドごとのテスト精度の向上という観点から、相対的に速い収束速度を示した。これは通信効率の向上を示唆している。