[論文レビュー] A Systematic Literature Review on Federated Learning: From A Model Quality Perspective

Yi Liu, Li Zhang+2 more|arXiv (Cornell University)|Dec 1, 2020

Privacy-Preserving Technologies in Data参考文献 135被引用数 23

ひとこと要約

本システマティックレビューでは、147件の最近の研究を分析し、フェデレーテッドラーニング（FL）モデルの品質を向上させる要因を特定する。主な焦点はモデル設計、プライバシー保護、インcentiveメカニズムに向けられている。FLは非FLモデルと同等の性能を達成しており（精度差1–5%）、強力なプライバシー保護を確保している。本研究では、産業応用を促進する実用的なFL応用フレームワークを提案する。

ABSTRACT

As an emerging technique, Federated Learning (FL) can jointly train a global model with the data remaining locally, which effectively solves the problem of data privacy protection through the encryption mechanism. The clients train their local model, and the server aggregates models until convergence. In this process, the server uses an incentive mechanism to encourage clients to contribute high-quality and large-volume data to improve the global model. Although some works have applied FL to the Internet of Things (IoT), medicine, manufacturing, etc., the application of FL is still in its infancy, and many related issues need to be solved. Improving the quality of FL models is one of the current research hotspots and challenging tasks. This paper systematically reviews and objectively analyzes the approaches to improving the quality of FL models. We are also interested in the research and application trends of FL and the effect comparison between FL and non-FL because the practitioners usually worry that achieving privacy protection needs compromising learning quality. We use a systematic review method to analyze 147 latest articles related to FL. This review provides useful information and insights to both academia and practitioners from the industry. We investigate research questions about academic research and industrial application trends of FL, essential factors affecting the quality of FL models, and compare FL and non-FL algorithms in terms of learning quality. Based on our review's conclusion, we give some suggestions for improving the FL model quality. Finally, we propose an FL application framework for practitioners.

研究の動機と目的

• システマティックレビューを通じて、フェデレーテッドラーニング（FL）モデル品質に影響を与える主な要因を同定・分析すること。
• IoT、ヘルスケア、スマートシティなどの分野におけるFLの研究および応用動向を調査すること。
• プライバシーと精度のトレードオフに関する実務家らの懸念に応えるために、FLと非FLアプローチの学習品質を比較すること。
• プライバシー保護メカニズムおよびインcentive戦略が、FLモデルパフォーマンスの向上に果たす役割を評価すること。
• 147件のレビュー済み研究から得られた実証的知見に基づき、産業実務家向けの実用的なFL応用フレームワークを提案すること。

提案手法

• 2016年から2022年までの間に発表された147件の最近のFL関連研究を対象としたシステマティックレビューを実施した。
• モデル設計（水平型対垂直型FL）、トレーニング手法、プライバシー保護メカニズム、インcentive戦略に基づいて研究を分類した。
• クライアント側およびサーバー側のアルゴリズム（例：FedProx、SMA、FOCUS、クライアントクラスタリング手法）を分析した。
• 暗号化に基づくプライバシー保護メカニズムと、そのさまざまなFL設定（例：水平型、垂直型FL）への適用可能性を評価した。
• データ品質、計算コスト、通信コスト、報酬構造（金銭的対非金銭的）に注目したインcentiveメカニズムを評価した。
• 報告された精度、適合度、収束度の指標を用いて、FLと非FLモデルの比較分析を実施した。

実験結果

リサーチクエスチョン

• RQ1 異なる分野におけるフェデレーテッドラーニングの研究および応用動向として顕著なものは何か？
• RQ2 特に水平型および垂直型FLにおいて、モデル設計およびトレーニング戦略のうち、FLモデル品質を顕著に向上させるものは何か？
• RQ3 プライバシー保護メカニズムは、FLシステムのセキュリティおよびパフォーマンスにどのように影響を与えるか？
• RQ4 どのようなインcentiveメカニズムが、高品質なデータ寄与を促進し、グローバルモデルパフォーマンスの向上に寄与するか？
• RQ5 FLは非FLトレーニングに比べて学習品質をどの程度損なうのか、またこのギャップに影響を与える要因は何か？

主な発見

• 92%の事例でFLは非FLモデルと同等の学習品質を達成しており、精度差は1–5%にとどまり、実務上は一般的に許容できる水準である。
• フェデレーテッドユーザーレプリゼンテーション学習やマルチビューFLといったクライアント側アルゴリズムは、特にデータの非独立同分布（non-IID）環境下でモデル品質を顕著に向上させる。
• FedProx、SMA、FOCUSといったサーバー側集約手法は、非IIDデータ条件下でも収束性と精度の両面で顕著な有効性を示している。
• クライアントクラスタリングに基づくトレーニングアルゴリズムは、特にデータが非均質なFL環境下で、他のアプローチを上回るグローバルモデル品質の向上を実現している。
• 多くの暗号化メカニズムは理論的には妥当であるが、垂直型FL、フェデレーテッド転移学習、強化学習におけるプライバシー保護の質については、ほとんど研究がなされていないことから、研究ギャップが浮き彫りになっている。
• 多くのインcentiveメカニズムは金銭的報酬に依存しているが、金銭的および非金銭的報酬を組み合わせるアプローチは未だ検討が不十分であり、今後の研究において有望な方向性である。