[論文レビュー] Federated Learning with Domain Generalization

Liling Zhang, Xinyu Lei+3 more|arXiv (Cornell University)|Nov 20, 2021

Privacy-Preserving Technologies in Data参考文献 29被引用数 28

ひとこと要約

この論文は、クラス別でプライバシーを保ちながらソースドメイン分布を動的に学習される参照分布へ整合させる federated adversarial domain generalization フレームワークである FedADG を提案し、未見ドメインの一般化を改善する。

ABSTRACT

Federated Learning (FL) enables a group of clients to jointly train a machine learning model with the help of a centralized server. Clients do not need to submit their local data to the server during training, and hence the local training data of clients is protected. In FL, distributed clients collect their local data independently, so the dataset of each client may naturally form a distinct source domain. In practice, the model trained over multiple source domains may have poor generalization performance on unseen target domains. To address this issue, we propose FedADG to equip federated learning with domain generalization capability. FedADG employs the federated adversarial learning approach to measure and align the distributions among different source domains via matching each distribution to a reference distribution. The reference distribution is adaptively generated (by accommodating all source domains) to minimize the domain shift distance during alignment. In FedADG, the alignment is fine-grained since each class is aligned independently. In this way, the learned feature representation is supposed to be universal, so it can generalize well on the unseen domains. Intensive experiments on various datasets demonstrate that FedADG has comparable performance with the state-of-the-art.

研究の動機と目的

• データを集中化できないクライアントを含むフェデレーテッド学習設定におけるドメイン一般化を動機づける。
• ソースドメイン分布を動的参照へ揃える Federated Adversarial Domain Generalization (FedADG) フレームワークを提案する。
• クラス別の整合性を導入して判別力と未見ターゲットドメインへの一般化を向上させる。
• データをローカルに保持し、モデルパラメータのみ交換することでデータプライバシーを保護する。
• FL 設定 under states-of-the-art のドメイン一般化手法と競合する性能を示す。

提案手法

• 各クライアントに特徴抽出機、識別器、分布生成器、分類器で構成される FedADG を導入する。
• 実データからの特徴を生成された参照分布へ整合させる敵対的学習ネットワーク（ALN）を用いる。
• 整合歪みを低減するため、すべてのソースドメイン分布を中心とする動的に生成される参照分布を採用する。
• 敵対的学習時にラベル情報（one-hot ベクトル）を使用してクラス別の整合性を組み込む。
• L_FedADG = L_adv_d + L_adv_g + lambda_0 L_adv_f + lambda_1 L_err という結合損失で訓練する。ここで L_adv_d, L_adv_g, L_adv_f は敵対損失、L_err はラベルスムージング付きのクロスエントロピー。
• FedALN を実装してクライアントデータを中央集権的にアクセスすることなく敵対的ネットワークのフェデレーテッド訓練を可能にする。
• サーバー–クライアント訓練プロトコルを提供し、(F, C, G) の定期的な集約と D の局所更新を行う。

実験結果

リサーチクエスチョン

• RQ1 raw データを共有せずにフェデレーテッド学習でドメイン一般化をいかに達成できるか？
• RQ2 動的に生成される参照分布は整合性を改善し、ソースドメイン間の特徴歪みを減らせるか？
• RQ3 クラス別の整合は全体的な整合より未見ターゲットドメイン一般化を改善するか？
• RQ4 FedADG は標準 DG ベンチマークで中央集権型 DG 手法や既存の FL ベースラインと比べてどうなるか？
• RQ5 適応的に生成される参照と固定参照のターゲットドメイン性能への影響は？

主な発見

• FedADG は標準的な DG データセットにおいて最先端手法と競合するドメイン一般化性能を達成する。
• AlexNet バックボーンを使用した VLCS では、FedADG（分散）は平均精度 75.09、ResNet18 バックボーンでは 76.28 の平均精度を達成。
• FedADG は VLCS での平均精度においていくつかの中央集権型および分散型ベースライン（例: FedAvg）を上回る。
• 適応的な参照分布は固定参照より整合歪みが小さく、より識別的でクラス別整合された特徴を生む。
• クラス別整合と敵対的に学習されたドメイン不変特徴は未見ドメイン一般化の向上に寄与する。
• 代表的な例として、FedADG の未見ターゲットドメインでの平均精度が分散型 FedAvg から FedADG へ改善する、（例: AlexNet の VLCS で 54.79 → 75.09）ことが示される。