[論文レビュー] Communication Efficiency in Federated Learning: Achievements and Challenges

Osama Shahid, Seyedamin Pouriyeh+4 more|arXiv (Cornell University)|Jul 23, 2021

Privacy-Preserving Technologies in Data参考文献 76被引用数 50

ひとこと要約

本調査は連邦学習における通信効率を分析し、通信オーバーヘッドを削減するための課題と手法を詳述する。

ABSTRACT

Federated Learning (FL) is known to perform Machine Learning tasks in a distributed manner. Over the years, this has become an emerging technology especially with various data protection and privacy policies being imposed FL allows performing machine learning tasks whilst adhering to these challenges. As with the emerging of any new technology, there are going to be challenges and benefits. A challenge that exists in FL is the communication costs, as FL takes place in a distributed environment where devices connected over the network have to constantly share their updates this can create a communication bottleneck. In this paper, we present a survey of the research that is performed to overcome the communication constraints in an FL setting.

研究の動機と目的

• 連邦学習の動機とそのプライバシー保護上の利点を説明する。
• FLにおける通信関連の課題を特定し、分類する。
• FLにおける通信効率を改善する方法をレビューし、統合する。
• FL通信に関する研究のギャップと今後の方向性を浮き彫りにする。
• 本研究を一般的なFLトピックよりもFL通信に特化したサーベイとして位置づける。

提案手法

• データ所有者と中央サーバーを備えたFLアーキテクチャを説明する。
• FLシステムのタイプ（水平、垂直、フェデレーテッド・トランスファー）を紹介する。
• 通信の課題と効率化手法に焦点を当てた2つの研究質問を策定する。
• 局所更新、クライアント選択、モデル更新の削減、分散学習、圧縮に関する文献をレビューする。
• 既存のサーベイを論じ、本研究を通信に特化したサーベイとして位置づける。

実験結果

リサーチクエスチョン

• RQ1 通信に関連する連邦学習の主な課題は何か？
• RQ2 連邦学習において通信をより効率的にする方法は何か？

主な発見

• 主な通信ボトルネックの特定：デバイス数、ネットワーク帯域幅、エッジ計算の制限、データのヘテロジニティ。
• 局所更新、クライアント選択、モデル更新の削減は通信ラウンドとデータ交換量を減らせる。
• FedAvg、SCAFFOLD、FedDANE、FedPAQはドリフトとオーバーヘッドを緩和する戦略を提供する。
• FedCSやMCMLのような参加戦略は制約されたネットワーク下でのスケジューリングを強化する。
• ワンショットおよびアンサンブル手法は頻繁なラウンド更新の代替手段を提供する。
• 圧縮を用いた分散型・ピアツーピア学習は通信効率に寄与する。