[論文レビュー] Fair Resource Allocation in Federated Learning

Li Tian, Maziar Sanjabi+2 more|arXiv (Cornell University)|May 25, 2019

Privacy-Preserving Technologies in Data参考文献 45被引用数 352

ひとこと要約

本論文は q-Fair Federated Learning (q-FFL) と FedAvg-style solver (q-FedAvg) を導入し、フェデレーテッドラーニングにおけるデバイスレベルの精度分布をより均一にし、公平性と全体性能のバランスを取ることを実証し、効率性の向上を示す。

ABSTRACT

Federated learning involves training statistical models in massive, heterogeneous networks. Naively minimizing an aggregate loss function in such a network may disproportionately advantage or disadvantage some of the devices. In this work, we propose q-Fair Federated Learning (q-FFL), a novel optimization objective inspired by fair resource allocation in wireless networks that encourages a more fair (specifically, a more uniform) accuracy distribution across devices in federated networks. To solve q-FFL, we devise a communication-efficient method, q-FedAvg, that is suited to federated networks. We validate both the effectiveness of q-FFL and the efficiency of q-FedAvg on a suite of federated datasets with both convex and non-convex models, and show that q-FFL (along with q-FedAvg) outperforms existing baselines in terms of the resulting fairness, flexibility, and efficiency.

研究の動機と目的

• データのヘテロ性とシステムの変動性に起因するフェデレーテッドラーニングにおけるデバイス間の公平性を動機づける。
• デバイス間の性能の一様性と平均精度をトレードオフする柔軟な公平性を考慮した目的関数を定義する。
• 通信を最小化し、デバイス参加の変動に対応する、フェデレーテッド設定に特化したスケーラブルな最適化手法を開発する。
• alpha-fairness への理論的な繋がりを確立し、既存のフェデレーテッドラーニングにおける公平性アプローチと比較する。
• 実証的に、q-FFL が全体の精度を維持しつつデバイス間の性能をより一様に達成することを検証する。

提案手法

• 目的関数 f_q(w)=sum_k (p_k/(q+1)) F_k(w)^{q+1} を用いた q-Fair Federated Learning (q-FFL) を提案し、q によって公平性を制御する。
• q-FFL を alpha-fairness に関連付け、調整可能な公平性-精度のトレードオフを可能にする。
• 局所リプシッツ定数の上界を利用してモデルを更新する動的ステップサイズの Federated SGD 手法 q-FedSGD を導入する。
• リプシッツ境界に基づく局所更新の動的重み付けを用いる通信効率の高い FedAvg 類似手法 q-FedAvg に拡張する。
• q=0 からリプシッツ定数を推定し、それを q>0 で再利用して各 q のハイパーパラメータ調整を回避する実用的なスキームを提供する。
• q-FFL を解く際に q-FedAvg が q-FedSGD や標準の FedSGD より通信ラウンドでの収束が速いことを示す。

実験結果

リサーチクエスチョン

• RQ1 フェデレーテッドラーニングにおけるデバイス間のモデル性能分布の公平性をどのように定義できるか。
• RQ2 調整可能な目的関数（q-FFL）は、異種データ分布におけるデバイスレベルの性能の一様性と平均精度をバランスさせることができるか。
• RQ3 スケーラブルな最適化手法（q-FedAvg, q-FedSGD）はフェデレーテッド設定で q-FFL の目的を効率的に解けるか。
• RQ4 精度と公平性指標の観点から、q-FFL は既存の公平性アプローチ（AFL、デバイス重みの均一化）とどう比較されるか。
• RQ5 q-FFL をメタ学習など他の領域に拡張して、タスク間で公平な初期値を達成できるか。

主な発見

Dataset	Objective	Average	Worst 10%	Best 10%	Variance
Synthetic	q=0	80.8 ± 0.9	18.8 ± 5.0	100.0 ± 0.0	724 ± 72
Synthetic	q=1	79.0 ± 1.2	31.1 ± 1.8	100.0 ± 0.0	472 ± 14
Vehicle	q=0	87.3 ± 0.5	43.0 ± 1.0	95.7 ± 1.0	291 ± 18
Vehicle	q=5	87.7 ± 0.7	69.9 ± 0.6	94.0 ± 0.9	48 ± 5
Sent140	q=0	65.1 ± 4.8	15.9 ± 4.9	100.0 ± 0.0	697 ± 132
Sent140	q=1	66.5 ± 0.2	23.0 ± 1.4	100.0 ± 0.0	509 ± 30
Shakespeare	q=0	51.1 ± 0.3	39.7 ± 2.8	72.9 ± 6.7	82 ± 41
Shakespeare	q=.001	52.1 ± 0.3	42.1 ± 2.1	69.0 ± 4.4	54 ± 27

• q-FFL は全体の平均精度を維持しつつ、デバイス間の精度の分散を平均して45%低減する。
• q-FedAvg は基準法よりオーダーオブマグニチュード速く q-FFL を解き、通信効率の改善を示す。
• AFL や均一サンプリングと比較して、平均性能を損なうことなく、より公正なテスト精度分布を達成する。
• 凸および非凸モデルを用いた複数のフェデレーテッドデータセットで、q の増加はデバイス間の性能をより均一にし（例: 分散低下）、平均は概ね同程度となる。
• q-FFL は柔軟で、より大きな q は公平性制御をより厳密にし、特定データセットで最悪デバイス指標において minimax 公平性のベースラインを上回ることがある。
• このアプローチはメタ学習にも拡張でき、タスク間の分散を減らす公正な初期化を生み出す。