[論文レビュー] FedBR: Improving Federated Learning on Heterogeneous Data via Local Learning Bias Reduction

Yongxin Guo, Xiaoying Tang+1 more|arXiv (Cornell University)|May 26, 2022

Privacy-Preserving Technologies in Data被引用数 9

ひとこと要約

FedBR は、ラベルに依存しない偽データと、2つの主要な構成要素を活用することで、非同一分布データ環境下での局所学習バイアスを低減する新しいフェデレーテッドラーニングフレームワークである。(1) バイアスのある局所分類器を是正する出力分布のバランス調整、(2) 局所特徴をグローバル表現と一致させる最小-最大対照学習。通信コストが最小限で、ラベル付きデータや大規模な偽データを必要とせず、SOTA フェデレーテッドラーニング手法を著しく上回る性能を発揮する。

ABSTRACT

Federated Learning (FL) is a way for machines to learn from data that is kept locally, in order to protect the privacy of clients. This is typically done using local SGD, which helps to improve communication efficiency. However, such a scheme is currently constrained by slow and unstable convergence due to the variety of data on different clients' devices. In this work, we identify three under-explored phenomena of biased local learning that may explain these challenges caused by local updates in supervised FL. As a remedy, we propose FedBR, a novel unified algorithm that reduces the local learning bias on features and classifiers to tackle these challenges. FedBR has two components. The first component helps to reduce bias in local classifiers by balancing the output of the models. The second component helps to learn local features that are similar to global features, but different from those learned from other data sources. We conducted several experiments to test \algopt and found that it consistently outperforms other SOTA FL methods. Both of its components also individually show performance gains. Our code is available at https://github.com/lins-lab/fedbr.

研究の動機と目的

• クライント間のデータ非同一分布による収束の遅さと不安定さという課題に対処すること。
• 局所学習バイアスの未だ十分に探求されていない3つの落とし穴（バイアスのかかった分類器、発散する局所特徴、明確でない特徴表現）を特定し、体系的に分析すること。
• ラベル付きデータや大規模な偽データを必要とせず、プライバシーを保ちながら局所学習バイアスを低減する統合的でプライバシー保護型の手法を開発すること。
• 非 IID データ分布を持つクライント間で収束の安定性とモデルパフォーマンスを向上させること。
• 高いモデル精度を維持しながら通信および計算コストを最小限に抑えること。

提案手法

• FedBR は、クライントの生データを露呈させることなく、ラベル分布に依存しないグローバル共有の偽データセットを用いて局所モデルの学習をガイドする。
• 最初の構成要素は、偽データ上でモデルの出力分布をバランスさせることで、局所分類器のバイアスを低減する。
• 2番目の構成要素は、最小-最大対照学習目的関数を用い、局所特徴をグローバル特徴と一致させつつ、他のクライントの局所特徴から分離する。
• 2段階のアルゴリズムが設計されている：まず、グローバル特徴と局所特徴を区別できる射影空間を学習する。次に、局所特徴をグローバル特徴に近づけ、他のクライントの局所特徴からは遠ざけるように最適化する。
• FedAvg に最小限の変更で統合可能であり、初期に小さな偽データバッチ（MNIST では 64、それ以外では 32）を1回送信するだけでよい。
• 通信および計算コストを最小限に抑えるために、軽量な3層MLPを射影ヘッドとして使用する。

実験結果

リサーチクエスチョン

• RQ1 非 IID データを伴うフェデレーテッドラーニングにおいて、局所学習バイアス（特に分類器と特徴表現におけるもの）が収束にどのように悪影響を及えるか？
• RQ2 ラベル付きグローバルデータに依存せずに、分類器バイアスと特徴表現バイアスの両方を同時に低減できる統合的アプローチは可能か？
• RQ3 小さなラベルなし偽データセットが、非同一分布フェデレーテッドラーニング環境下で、モデルの一般化性能と収束性をどの程度向上できるか？
• RQ4 通信効率性、データ不均衡に対するロバストネスの観点から、FedBR は SOTA フェデレーテッドラーニング手法と比較してどの程度優れているか？
• RQ5 FedBR は他の SOTA フェデレーテッドラーニングアルゴリズムと効果的に組み合わせられ、さらなるパフォーマンス向上が可能か？

主な発見

• FedBR は、RotatedMNIST、CIFAR10、CIFAR100 において、FedAvg や他の SOTA フェデレーテッドラーニング手法を常に上回り、全データセットで顕著な精度向上を達成した。
• 学習開始時に偽データのミニバッチ1つ（RotatedMNIST では 64、CIFAR10/100 では 32）を送信するだけで、全ラウンドの偽データ送信と同等の性能が得られ、通信コストが極めて低いことが実証された。
• 偽データが非平衡な局所データ分布から構築されても、FedBR は高い性能を維持し、データ品質へのロバストネスを示した。
• K=1 または K=0 の混合ベースの偽データを使用しても、FedAvg よりも高い性能を発揮し、ラベルなしデータを用いたプライバシー保護能力を裏付けた。
• FedBR を FedNTD、FedCM、FedDecorr などの他の SOTA メソッドに統合することで、パフォーマンスが向上し、高い互換性と一般化能力を示した。
• FedBR で学習された局所モデルは、ラベル付きグローバルデータを用いる VHL と同等またはそれ以上の性能を達成しており、ラベル付き共有データを一切使用していないにもかかわらずである。