[論文レビュー] A Simple Data Augmentation for Feature Distribution Skewed Federated Learning

Yunlu Yan, Fu, Huazhu+5 more|arXiv (Cornell University)|Jun 14, 2023

Privacy-Preserving Technologies in Data被引用数 4

ひとこと要約

本稿では、特徴量分布の偏りが生じる状況下におけるフェデレーテッドラーニング（FL）に対して、シンプルでありながら効果的なデータ拡張手法であるFedRDNを提案する。特徴量分布の偏りが生じる状況下において、複数のクライアントから得られるグローバル統計的特徴（平均と標準偏差）をランダムにローカルデータに挿入することで、特徴量の一般化を向上させ、ドメインシフトの影響を軽減する。本手法は最小限のオーバーヘッドで複数のFLベンチマークにおいて顕著な性能向上を達成する。

ABSTRACT

Federated Learning (FL) facilitates collaborative learning among multiple clients in a distributed manner and ensures the security of privacy. However, its performance inevitably degrades with non-Independent and Identically Distributed (non-IID) data. In this paper, we focus on the feature distribution skewed FL scenario, a common non-IID situation in real-world applications where data from different clients exhibit varying underlying distributions. This variation leads to feature shift, which is a key issue of this scenario. While previous works have made notable progress, few pay attention to the data itself, i.e., the root of this issue. The primary goal of this paper is to mitigate feature shift from the perspective of data. To this end, we propose a simple yet remarkably effective input-level data augmentation method, namely FedRDN, which randomly injects the statistical information of the local distribution from the entire federation into the client's data. This is beneficial to improve the generalization of local feature representations, thereby mitigating feature shift. Moreover, our FedRDN is a plug-and-play component, which can be seamlessly integrated into the data augmentation flow with only a few lines of code. Extensive experiments on several datasets show that the performance of various representative FL methods can be further improved by integrating our FedRDN, demonstrating its effectiveness, strong compatibility and generalizability. Code will be released.

研究の動機と目的

• 実世界のFL導入において一般的ではあるが、十分に検討されていない特徴量分布の偏りを是正すること。
• 偏ったローカルデータ分布に起因する特徴量シフトを、入力レベルのデータ拡張によって効果的に緩和できるかを調査すること。
• 既存のFLパイプラインに容易に統合可能な、一般的で非パrametric的かつプライバシー保護型のデータ拡張技術を開発すること。
• モデルアーキテクチャを変更せずに、異種クライアント間でローカルモデルの一般化性能と耐性を向上させること。
• 多様なデータセットおよびFLフレームワークにおいて、スケーラビリティと有効性を実証すること。

提案手法

• FedRDNは、全クライアントのローカルデータセットから得られるグローバル統計的特徴（平均と標準偏差）をランダムにサンプリングする、新しいデータ拡張戦略を導入する。
• 訓練中、各クライアントは自らのローカル統計ではなく、フェデレーション全体からランダムに選択された統計ペア（μ, σ）を用いて変更された正規化を適用する。
• このプロセスは、データ拡張パイプラインに即挿し可能なコンponentとして実装されており、統合には数行のコードのみを必要とする。
• 本手法は非パrametricであり、計算および通信のオーバーヘッドが極めて小さく、クライアント間で交換されるのは統計要約情報のみである。
• 拡張処理はモデルのフォワードパスの前に入力レベルで実行され、より豊富なデータ多様性をもたらすことで、分布シフトの効果的緩和が可能になる。
• FedRDNはグローバル統計のランダムサンプリング戦略を用いるため、各クライアントがトレーニング中により広範な潜在的データ分布を経験するようになる。

実験結果

リサーチクエスチョン

• RQ1 入力レベルのデータ拡張は、フェデレーテッドラーニングにおける特徴量分布の偏りを効果的に緩和できるか？
• RQ2 シンプルで非パrametricなデータ拡張手法は、偏ったデータ分布を持つクライアント間でモデルの一般化性能を向上させられるか？
• RQ3 ローカルデータにグローバル統計的特徴を挿入することで、FLにおけるモデルの収束性と性能にどのような影響を与えるか？
• RQ4 FedRDNは、異なるローカルトレーニングエポック数やデータの非均一性レベルに対しても頑健であるか？
• RQ5 実世界のデータ偏り下で、FedMix や FedFA といった既存手法に比べ、FedRDNは特徴量シフトの緩和において優れているか？

主な発見

• Office-Caltech-10データセットにおいて、FedRDNはDSLRAmazon間のクロスサイト転移タスクで87.50%の精度を達成し、FedAvgに比べ18.75ポイントの性能向上を示した。
• DomainNetでは、FedAvgの精度を42.32%から43.55%まで向上させ、多様なドメインにわたる一貫した改善を示した。
• ProstateMRIベンチマークでは、精度を90.02%から92.32%まで向上させ、医療画像処理タスクにおける強力な一般化性能を示した。
• FedRDNは、すべてのクライアント・ターゲット組み合わせにおいて、FedAvg、FedMix、FedFAを上回るクロスサイト一般化性能を示した。
• アブレーションスタディの結果、固定されたグローバル統計を使用するFedRDN-Vは、FedRDNに比べ最大8.3ポイントの性能劣化を示し、確率的拡張の重要性を裏付けた。
• T-SNE可視化により、FedAvgに比べてFedRDNはクライアント間でより一貫性があり、バイアスの少ない特徴量分布を実現していることが確認された。