[論文レビュー] Agnostic Federated Learning

Mehryar Mohri, Gary Sivek+1 more|arXiv (Cornell University)|Feb 1, 2019

Privacy-Preserving Technologies in Data参考文献 38被引用数 259

ひとこと要約

AFLはクライアント分布の任意の混合にも対応する中央化モデルを最適化し、データ依存の一般化保証を提供し、収束証明付きの高速なミニマックス SGDアルゴリズムを提供するとともに、実証的検証と公平性の洞察を示します。

ABSTRACT

A key learning scenario in large-scale applications is that of federated learning, where a centralized model is trained based on data originating from a large number of clients. We argue that, with the existing training and inference, federated models can be biased towards different clients. Instead, we propose a new framework of agnostic federated learning, where the centralized model is optimized for any target distribution formed by a mixture of the client distributions. We further show that this framework naturally yields a notion of fairness. We present data-dependent Rademacher complexity guarantees for learning with this objective, which guide the definition of an algorithm for agnostic federated learning. We also give a fast stochastic optimization algorithm for solving the corresponding optimization problem, for which we prove convergence bounds, assuming a convex loss function and hypothesis set. We further empirically demonstrate the benefits of our approach in several datasets. Beyond federated learning, our framework and algorithm can be of interest to other learning scenarios such as cloud computing, domain adaptation, drifting, and other contexts where the training and test distributions do not coincide.

研究の動機と目的

• ターゲット分布が未知である場合やクライアント分布の混合が発生する可能性がある場合におけるフェデレーテッドラーニングを動機づける。
• アグノスティックな目的を、クライアント間の混合重みを跨ぐ最大損失として定義する。
• weighted Rademacher complexity を用いてデータ依存的な一般化境界を開発し、アルゴリズム設計を導く。
• 凸損失と仮説空間の下で収束保証を伴う高速な確率的ミニマックス最適化アルゴリズムを提案する。
• 実証的評価を通じて利点を示し、クラウド学習やドメイン適応など関連領域への拡張について議論する。

提案手法

• ターゲット分布をクライアント分布の任意の混合としてAFLを定式化し、混合に起因する損失の最大値としてアグノスティック損失を定義する。
• 混合にわたるアグノスティック損失を境界付けるデータ依存的なRademacher複雑性の枠組みを導入する。
• 学習を導くための理論から歪度（skewness）ベースの正則化項を導出する。
• 凸損失と仮説集合に対する収束保証を伴うミニマックスAFL目的関数の高速確率的勾配降下アルゴリズムを開発する。
• セクション5.2の凸最適化ベースの解法パスを提供し、確率的勾配特性を介した収束を分析する。
• 複数のデータセットでアプローチを実証し、クライアントのクラスタリングや他領域への拡張について示す。

実験結果

リサーチクエスチョン

• RQ1 標準的な一様分布（集計）分布と比較して、クライアント分布の混合を最適化することの影響は何か。
• RQ2 テスト分布がクライアントドメインの混合である場合、一般化リスクをどのように定量化・制御できるか。
• RQ3 AFLは公正性志向の訓練目的を生み出し、保護されたグループ間のGood-Intent公正性の懸念を軽減できるか。
• RQ4 アグノスティックな目的のためのスケーラブルな最適化を実現するアルゴリズムと保証は何か。

主な発見

• AFLは特定の設定下で、アグノスティック損失の面で一様分布ソリューションを一定の加法項だけ上回ることができる。
• 本論文はアグノスティック目的のデータ依存的Rademacher複雑性境界を提供し、アルゴリズム設計を導く。
• 凸損失と仮説集合に対して収束保証を伴うミニマックス確率的最適化アルゴリズムを提案する。
• 良い意図の公正性の自然な概念が生まれ、予測子が保護されたサブグループ間で同様に機能しつつ最悪ケースサブグループ損失を最小化する。
• 実験は複数のデータセットでAFLの利点を示し、ドメイン適応、ドリフト、クラウド学習シナリオへの適用性を強調する。