[論文レビュー] Hierarchically Fair Federated Learning

Jingfeng Zhang, Cheng Li+2 more|arXiv (Cornell University)|Apr 22, 2020

Privacy-Preserving Technologies in Data参考文献 30被引用数 43

ひとこと要約

ヒエラルキー型公正フェデレーテッド学習（HFFL）を提案し、連合学習設定においてエージェントの貢献レベルに比例して報酬を分配する。拡張版のHFFL+は異種モデルをサポート。複数データセットでの実証評価により、公平性と一般化の改善を実証。

ABSTRACT

When the federated learning is adopted among competitive agents with siloed datasets, agents are self-interested and participate only if they are fairly rewarded. To encourage the application of federated learning, this paper employs a management strategy, i.e., more contributions should lead to more rewards. We propose a novel hierarchically fair federated learning (HFFL) framework. Under this framework, agents are rewarded in proportion to their pre-negotiated contribution levels. HFFL+ extends this to incorporate heterogeneous models. Theoretical analysis and empirical evaluation on several datasets confirm the efficacy of our frameworks in upholding fairness and thus facilitating federated learning in the competitive settings.

研究の動機と目的

• 自己利益を追求し、データをサイロ化したエージェントが存在する場合のフェデレーテッド学習における公平性を動機づける。
• より多くの貢献がより大きな報酬を生む貢献度ベースの報酬機構を提案。
• 複数の貢献レベルでモデルを学習するHFFLを導入し、比例的な公平性を示す。
• レベル間で異種モデルアーキテクチャを許容するようHFFL+へ拡張。
• より多くのデータがより良い一般化とより高い報酬につながることを理論的・実証的に正当化。

提案手法

• 公開可能で検証可能な要因（データ量、データ品質、収集コスト等）に基づいてエージェントを複数の貢献レベルに分類。
• 各レベルで、これまでのすべてのレベルのデータを用いて共有モデルf_lを訓練する。高レベルほど高精度モデルへより多くのデータを寄与。
• 各レベル内のエージェント間でFedAvg風のパラメータ集約を用いて局所モデルとグローバルモデルを更新。
• 異なるモデルアーキテクチャでHFFLを実行し、レベルごとに最良の性能を示すモデルを選択する拡張 HFFL+ を提供。
• より多くのデータが低い一般化誤差に結びつく理論的境界を提供（標準的な一般化の議論を通じて）。
• 固定の3レベル階層を用いた4データセットで公正性と性能を実証実験で検証。

実験結果

リサーチクエスチョン

• RQ1 報酬が貢献レベルに比例する場合、エージェントはフェデレーテッド学習へ参加を促されるか。
• RQ2 階層的貢献ベースの学習（HFFL）は、比例的公平性と高貢献エージェントのモデル改善を達成するか。
• RQ3 異種モデル（HFFL+）への拡張は、公平性を保ちつつレベル間での性能をさらに改善するか。
• RQ4 上位レベルでのデータ利用がフェデレーテッド設定におけるより良い一般化・誤差境界と関連しているか。
• RQ5 公開検証可能な貢献要因は、モデル依存的またはShapleyベースの評価落とし込みを防ぐのに十分か。

主な発見

• テストした4データセットのすべてで、より高い貢献レベルのモデルは低レベルのモデルより性能が高い。
• HFFL+はレベルごとにアーキテクチャを選択することで、HFFLより一貫して高いモデルスコアを示す。
• 理論分析によれば、高レベルでのより多いデータはより良い一般化可能性をもつモデルにつながる。
• ADULT、MNIST、Fashion MNIST、IMDBデータセットでの実証結果は、提案された公平性機構とタスク全体での実用性を確認。