[論文レビュー] Towards Fair Federated Learning with Zero-Shot Data Augmentation

Weituo Hao, Mostafa El‐Khamy+5 more|arXiv (Cornell University)|Apr 27, 2021

Privacy-Preserving Technologies in Data参考文献 37被引用数 7

ひとこと要約

本稿では、統計的非同一性を軽減し、公平性を向上させるために、クライアントまたはサーバーで未代表的クラスのデータを合成するゼロショットデータ生成を用いる、Fed-ZDACおよびFed-ZDASというフェデレーテッドラーニングフレームワークを提案する。実験の結果、MNIST、Fashion-MNIST、CIFAR-10において、両手法ともクライアント間の精度のばらつきを顕著に低減するとともに、グローバルテスト精度を向上させた。

ABSTRACT

Federated learning has emerged as an important distributed learning paradigm, where a server aggregates a global model from many client-trained models while having no access to the client data. Although it is recognized that statistical heterogeneity of the client local data yields slower global model convergence, it is less commonly recognized that it also yields a biased federated global model with a high variance of accuracy across clients. In this work, we aim to provide federated learning schemes with improved fairness. To tackle this challenge, we propose a novel federated learning system that employs zero-shot data augmentation on under-represented data to mitigate statistical heterogeneity and encourage more uniform accuracy performance across clients in federated networks. We study two variants of this scheme, Fed-ZDAC (federated learning with zero-shot data augmentation at the clients) and Fed-ZDAS (federated learning with zero-shot data augmentation at the server). Empirical results on a suite of datasets demonstrate the effectiveness of our methods on simultaneously improving the test accuracy and fairness.

研究の動機と目的

• 非IIDクライアントデータ分布に起因するフェデレーテッドラーニングにおける公平性の低下を是正すること。
• 少数クラスを有するクライアントと多数クラスを有するクライアントとの間の性能格差を軽減すること。
• 生のクライントデータにアクセスせずに、プライバシーを保護する方法で合成データを生成すること。
• ゼロショットデータ拡張のタイミングと場所（クライアント対サーバー）がモデルの公平性および精度に与える影響を評価すること。
• 提案されたデータ拡張メカニズムに対する微分プライバシー解析を提供すること。

提案手法

• 生のデータではなく、モデル統計のみを用いて、未代表的クラスの画像を合成するゼロショットデータ生成（ZSDG）を用いる。
• クライアントでの合成（Fed-ZDAC）とサーバーでの合成（Fed-ZDAS）の2つのバリエーションを導入し、ローカルモデルの汎化性能を向上させる。
• 微分可能で生成的なモデルを用いて、クライアントまたはサーバー側のモデル重みを逆算し、マイノリティクラスの擬似エクジンプレを生成する。
• ベースライン学習には標準的なResNet34アーキテクチャを採用し、異なるデータ分布設定下でのモデルインバージョン品質を評価する。
• 合成データ生成に適した高品質な合成データを得るために、データ拡張の前にバーニングイン段階を導入する。
• $(0,\delta)$-微分プライバシーを用いてプライバシー保証を分析し、本手法がクライントデータのプライバシーを損なわないことを示した。

実験結果

リサーチクエスチョン

• RQ1 クライアントまたはサーバーでのゼロショットデータ拡張は、非IIDフェデレーテッドラーニングにおける公平性と精度にどのように影響するか？
• RQ2 フェデレーテッドトレーニングにおいて、データ拡張を開始する最適なタイミングは何か？ これは公平性とモデル性能を最大化するためである。
• RQ3 合成データの品質は、モデルの性能にどのように依存するか？ 特に非IIDデータ分布下での依存関係は？
• RQ4 生のクライントデータにアクセスせずにゼロショットデータ生成が、プライバシーを保護しながらモデルの汎化性能を向上させられるか？
• RQ5 不均衡なデータを持つクライアント間の精度ばらつきを低減する観点で、Fed-ZDACとFed-ZDASはどのように比較できるか？

主な発見

• Fed-ZDACおよびFed-ZDASは、CIFAR-10などの非IIDデータセットにおいて、クライアント間の精度ばらつきを最大50％まで低減し、公平性を向上させた。
• CIFAR-10において、Fed-ZDACを用いて学習したモデルは非IID設定下で73.96％のテスト精度を達成し、ベースラインフェデレーテッドラーニングを顕著に上回った。
• モデル性能が低下するにつれて、モデルインバージョンによる合成データの品質も低下し、特に極めて非IIDなデータ分布下では最も悪い性能（58.10％の精度）が観察された。
• エポック90または95にデータ拡張を開始すると、エポック80などより早い開始時よりも高い公平性が得られた。これは、高いモデル精度がより優れた合成データを生み出すためである。
• 本手法は$(0,\delta)$-微分プライバシーを満たしており、合成データ生成がクライントデータのプライバシーを損なわないことを確認した。
• Fed-ZDACおよびFed-ZDASから生成された合成データは、局所的なデータ分布の乖離を効果的に低減し、未代表的クラスの汎化性能を向上させた。