[論文レビュー] Federated Multi-Task Learning for Competing Constraints.

Li Tian, Shengyuan Hu+2 more|arXiv (Cornell University)|Dec 8, 2020

Privacy-Preserving Technologies in Data参考文献 23被引用数 10

ひとこと要約

本稿では、統計的に非定常なネットワークにおいて、モデルの精度、公平性、および敵対的攻撃に対する耐性を同時に最適化するフェデレーテッドマルチタスク学習フレームワークを提案する。統一されたマルチタスク目的関数を定式化し、スケーラブルなソルバを用いることで、公平性と耐性の間で優れたトレードオフを達成し、複数のフェデレーテッドデータセットにおいて最先端のベースラインを上回る性能を発揮する。

ABSTRACT

In addition to accuracy, fairness and robustness are two critical concerns for federated learning systems. In this work, we first identify that robustness to adversarial training-time attacks and fairness, measured as the uniformity of performance across devices, are competing constraints in statistically heterogeneous networks. To address these constraints, we propose employing a simple, general multi-task learning objective, and analyze the ability of the objective to achieve a favorable tradeoff between fairness and robustness. We develop a scalable solver for the objective and show that multi-task learning can enable more accurate, robust, and fair models relative to state-of-the-art baselines across a suite of federated datasets.

研究の動機と目的

• フェデレーテッド学習における、性能の均一性（デバイス間での性能の一様性）として測定される公平性と、訓練時における敵対的攻撃に対する耐性との間にある本質的なトレードオフを解消すること。
• 統計的に非定常なフェデレーテッドネットワークにおいて、公平性と耐性が競合する制約であることを特定すること。
• 精度を損なわせることなく、公平性と耐性の間の有利なトレードオフを実現できる一般化可能でスケーラブルなマルチタスク学習目的関数を構築すること。

提案手法

• モデルの精度、公平性（デバイスレベルの性能の一様性）、耐性（敵対的例に対するレジリエンス）を同時に最適化するマルチタスク学習目的関数を定式化する。
• 提案されたマルチタスク目的関数に特化したスケーラブルな最適化ソルバを設計し、分散型かつ非定常な環境での効率的な学習を可能にする。
• デバイス間でのモデル性能の分散を最小化することで、デバイスレベルの性能の一様性を公平性の指標として用いる。
• 敵対的訓練信号をマルチタスク目的関数に統合し、モデル更新中に耐性を強化する。
• フェデレーテッド学習の構造を活用して、1つのグローバルモデルを訓練しつつ、デバイス固有の性能の一貫性を維持する。

実験結果

リサーチクエスチョン

• RQ1 統計的非定常性が存在するフェデレーテッド学習において、統一されたマルチタスク学習目的関数が公平性と耐性を効果的にバランスできるか。
• RQ2 提案手法は、多様なフェデレーテッドデータセットにおいて、精度、公平性、耐性の観点で最先端のベースラインと比較してどのように優れているか。
• RQ3 マルチタスク目的関数は、モデル精度や敵対的耐性を維持または向上させつつ、デバイス間の性能分散をどの程度低減できるか。

主な発見

• 提案されたマルチタスク学習フレームワークは、従来の手法よりも公平性と耐性の間でより有利なトレードオフを達成し、デバイス間の性能分散を低減している。
• すべての評価対象のフェデレーテッドデータセットにおいて、敵対的攻撃に対する耐性を向上させつつ、精度を維持または向上させている。
• スケーラブルなソルバのおかげで、分散環境における効率的な学習が可能となり、大規模な展開を支援している。
• 実験的結果から、本フレームワークは精度を損なわせることなく、公平性および耐性の指標で最先端のベースラインを上回っていることが示された。