[論文レビュー] Towards Fairness-Aware Federated Learning

Yuxin Shi, Han Yu+1 more|arXiv (Cornell University)|Nov 2, 2021

Privacy-Preserving Technologies in Data被引用数 7

ひとこと要約

本論文は、公平性に配慮したフェデレーテッドラーニング（FAFL）に関する最初の包括的サーベイを提示し、クライアント選択、最適化、寄与評価、インcentive配分の4つの側面においてFAFLアプローチの分類法を提案する。FLにおける公平性の課題を特定し、主要なメトリクスをレビューし、持続可能で公平な協働を実現するための今後の研究方向性を提示する。

ABSTRACT

Recent advances in Federated Learning (FL) have brought large-scale collaborative machine learning opportunities for massively distributed clients with performance and data privacy guarantees. However, most current works focus on the interest of the central controller in FL,and overlook the interests of the FL clients. This may result in unfair treatment of clients that discourages them from actively participating in the learning process and damages the sustainability of the FL ecosystem. Therefore, the topic of ensuring fairness in FL is attracting a great deal of research interest. In recent years, diverse Fairness-Aware FL (FAFL) approaches have been proposed in an effort to achieve fairness in FL from different perspectives. However, there is no comprehensive survey that helps readers gain insight into this interdisciplinary field. This paper aims to provide such a survey. By examining the fundamental and simplifying assumptions, as well as the notions of fairness adopted by existing literature in this field, we propose a taxonomy of FAFL approaches covering major steps in FL, including client selection, optimization, contribution evaluation and incentive distribution. In addition, we discuss the main metrics for experimentally evaluating the performance of FAFL approaches, and suggest promising future research directions towards FAFL.

研究の動機と目的

• 公平性に配慮したフェデレーテッドラーニング（FAFL）に関する包括的サーベイの不足に応えること、これは新興の学際的分野である。
• クライアント選択、モデル最適化、寄与評価、インcentive配分というFLの主要段階における公平性の問題を特定および分析すること。
• FLパイプラインの主要ステップに基づいて、FAFLアプローチの構造的分類法を提唱すること。
• FAFL研究における既存の公平性メトリクスおよび実験的ベンチマークをレビューおよび評価すること。
• 公平性、耐性、持続可能性を高めるために、今後の有望な研究方向性を提示すること。

提案手法

• クライアント選択、最適化、寄与評価、インcentive配分という、基本的なFLパイプラインステップに沿って整理された、FAFLアプローチの新しい分類法を開発すること。
• 既存のFAFL文献で用いられる基本的仮定および公平性の概念（例：功利的、均等的、手続き的公平性）を分析すること。
• 収束速度やモデル精度といったサーバ中心の目的よりも、公平性を優先するクライアント選択手法を調査すること。
• 個人のプライベートデータを露呈せずに、データ品質、数量、またはマージナルなモデル性能向上に基づいてクライアントの寄与を推定する技術を検討すること。
• クライアントの寄与に基づいて報酬を配分するインcentiveメカニズムをレビューし、フリーライダー問題に対処すること。
• ゲーム理論、社会的規範、説明可能性の知見を統合し、信頼を醸成する強固なFAFLフレームワークを提唱すること。

実験結果

リサーチクエスチョン

• RQ1 既存のFAFLアプローチは、フェデレーテッドラーニングパイプラインの異なる段階で、公平性をどのように定義し、実装しているか？
• RQ2 現在のFAFL研究で一般的に採用されている主な仮定および公平性の概念（例：功利的、均等的）は何か？
• RQ3 FLにおける公平性の問題は、クライアント選択、モデル最適化、寄与評価、インcentive配分の各段階でどのように現れるか？
• RQ4 FAFLアルゴリズムの性能と公平性を測定するために一般的に用いられるメトリクスは何か？
• RQ5 持続可能で公平なフェデレーテッドラーニングを実現するための主な未解決課題と今後の研究方向性は何か？

主な発見

• FLにおける公平性の問題は、あらゆる段階で生じる。非効率なクライアント選択は、低能力なクライアントを除外し、一般化性能の低下と参加意欲の減少を引き起こす。
• グローバル損失の最小化に基づくモデル最適化は、局所的なデータ分布の多様性を無視する可能性があり、クライアント個々人のデータに対する予測バイアスを生じさせる。
• 全クライアントに同一のモデルを配布するインcentive制度は、寄与の差異がある場合、不公平に感じられ、フリーライダー問題を悪化させる。
• 寄与評価は公平性にとって極めて重要であるが、現行の手法はしばしば自己申告のデータやマージナルな性能向上に依存しており、真の影響を反映していない可能性がある。
• 既存のFAFLアプローチは、非金銭的インcentive制度におけるモデル性能に対する明確な制御が欠如しており、実用的導入を制限している。
• 今後のFAFL研究は、ゲーム理論的メカニズム、社会的規範形成、説明可能性を活用し、プライバシーを保ちつつ信頼を醸成し、悪意ある行動を抑止する方向に進むべきである。