[論文レビュー] FedDisco: Federated Learning with Discrepancy-Aware Collaboration

Rui Ye, Mingkai Xu+4 more|arXiv (Cornell University)|May 30, 2023

Privacy-Preserving Technologies in Data被引用数 25

ひとこと要約

FedDiscoは、局所データセットサイズと分布の不一致を組み合わせた不一致認識型集計重みを導入し、カテゴリ分布の異質性がある場合のフェデレーテッドラーニングを改善します。理論と広範な実験により利点とモジュラリティを示します。

ABSTRACT

This work considers the category distribution heterogeneity in federated learning. This issue is due to biased labeling preferences at multiple clients and is a typical setting of data heterogeneity. To alleviate this issue, most previous works consider either regularizing local models or fine-tuning the global model, while they ignore the adjustment of aggregation weights and simply assign weights based on the dataset size. However, based on our empirical observations and theoretical analysis, we find that the dataset size is not optimal and the discrepancy between local and global category distributions could be a beneficial and complementary indicator for determining aggregation weights. We thus propose a novel aggregation method, Federated Learning with Discrepancy-aware Collaboration (FedDisco), whose aggregation weights not only involve both the dataset size and the discrepancy value, but also contribute to a tighter theoretical upper bound of the optimization error. FedDisco also promotes privacy-preservation, communication and computation efficiency, as well as modularity. Extensive experiments show that our FedDisco outperforms several state-of-the-art methods and can be easily incorporated with many existing methods to further enhance the performance. Our code will be available at https://github.com/MediaBrain-SJTU/FedDisco.

研究の動機と目的

• フェデレーテッドラーニングにおけるカテゴリ分布の異質性を動機づけ、解決する。
• データセットサイズと局所−グローバル分布の不一致の両方を組み込んだサーバーサイドの集約重みを提案する。
• 分布不一致を考慮した重みによってより厳しい最適化誤差の上界を示す理論分析を提供する。
• 多様なデータセットと異質性設定における経験的利点を実証し、モジュラリティと効率性を強調する。

提案手法

• 各クライアントと一様なグローバルターゲットとの間の局所カテゴリ分布の不一致を定義・測定する。
• データセットサイズ n_k と不一致 d_k のバランスを取る明示的な不一致認識型集約重み p_k を導出する（p_k ∝ n_k − a·d_k + b）。
• ローカルモデルを通常通り更新するが、不一致認識型の重みで集約する FedDisco フレームワークを提案する。
• 一般化された重みに対する FedAvg の理論的収束解析を提供し、不一致が上界を引き締める方法を示す。
• FedDisco が既存の FL 手法をほとんど追加コストなしで補強できることを示し、モジュラリティを実証する。
• 提案手法のプライバシー、通信、および計算効率の利点について論じる。

実験結果

リサーチクエスチョン

• RQ1 局所とグローバルなカテゴリ分布の不一致に基づく集約重みは、データサイズベースの重み付けを超えるFL性能の改善をもたらすか？
• RQ2 局所的不一致を取り入れることがフェデレーテッド平均化における最適化誤差の境界に理論的に与える影響は何か？
• RQ3 多様で異質な部分参加・テキストモダリティを含むFL設定において、FedDiscoは最先端手法と比較してどのように性能を発揮するか？
• RQ4 FedDiscoは既存のFLアルゴリズムに対してモジュラーで容易に組み込め、過度なオーバーヘッドを追加しないか？

主な発見

• FedDiscoは、複数の異質なデータセットと設定において、複数の最先端フェデレーテッドラーニング手法を一貫して上回る。
• 理論分析は、データセットサイズと不一致の両方に依存する集約重みが最適化誤差の上界を引き締めうることを示している。
• FedDiscoはモジュラリティを示し、さまざまなFLベースラインと組み合わせても追加の計算・通信コストが大幅になく利得をもたらす。
• 実験は部分的なクライアント参加下での堅牢性と、テキストモダリティデータセットへの適用性を示している。
• 不一致は局所的に計算され一度だけ伝達され、プライバシーを保護しオーバーヘッドを軽減する。