[論文レビュー] Improving Accuracy of Federated Learning in Non-IID Settings

Mustafa Safa Özdayi, Murat Kantarcıoğlu+1 more|arXiv (Cornell University)|Oct 14, 2020

Privacy-Preserving Technologies in Data参考文献 9被引用数 9

ひとこと要約

本稿では、非i.i.d.データ設定下における联邦学習（FL）の精度を向上させる4つの軽量で通信フリーな手法を提案する：サーバー側で小さなバランスの取れたデータサブセットを用いたトレーニング、L2ノルム制約を課した投影勾配降下法、サーバー側でのモーメンタム、および適応的学習率調整。これらの手法を組み合わせることで、ベースライン比で12%以上の精度向上が達成され、CIFAR-10では85.7%の検証精度を達成した（集中学習性能の4.7%未満の差異）。クライアントおよびサーバーでの計算オーバーヘッドは最小限に抑えられている。

ABSTRACT

Federated Learning (FL) is a decentralized machine learning protocol that allows a set of participating agents to collaboratively train a model without sharing their data. This makes FL particularly suitable for settings where data privacy is desired. However, it has been observed that the performance of FL is closely tied with the local data distributions of agents. Particularly, in settings where local data distributions vastly differ among agents, FL performs rather poorly with respect to the centralized training. To address this problem, we hypothesize the reasons behind the performance degradation, and develop some techniques to address these reasons accordingly. In this work, we identify four simple techniques that can improve the performance of trained models without incurring any additional communication overhead to FL, but rather, some light computation overhead either on the client, or the server-side. In our experimental analysis, combination of our techniques improved the validation accuracy of a model trained via FL by more than 12% with respect to our baseline. This is about 5% less than the accuracy of the model trained on centralized data.

研究の動機と目的

• クライアント間でローカルデータ分布が非i.i.d.である場合に生じる、フェデレーテッドラーニングにおける顕著な性能低下を是正すること。
• 特にローカルモデル間の仮説の衝突が原因となる、非i.i.i.d. FLにおける性能低下の原因を特定すること。
• 通信オーバーヘッドを増加させることなく、クライアントまたはサーバーでの軽微な計算のみに依存して、FLの精度を向上させる手法を開発すること。
• フェデレーテッドラーニングのトレーニングパイプラインに対する単純でモジュール的な修正が、困難なデータ分布設定下で顕著な精度向上を達成できることを示すこと。

提案手法

• 各集約ラウンド後に、トレーニングデータの小さなバランスの取れたサブセット（5%）をサーバーに提供することで、サーバー側でグローバルモデルを微調整する。
• ローカルモデルのL2ノルムを制約することで、発散を防ぎ、仮説の衝突を低減するため、投影勾配降下法を適用する。
• 集約プロセス中に収束を安定化・加速させるために、モーメンタム定数（例：0.5 または 0.9）を用いたサーバー側のモーメンタムを実装する。
• 参加クライアント数に基づいて更新をスケーリングするしきい値ベースのルールを用いて、サーバー側で適応的学習率を調整する。
• これらの手法をFedAvgフレームワークに構造的変更を加えずに組み合わせることで、後方互換性と導入の容易さを確保する。
• 標準的なFLトレーニング（FedAvg集約：重み付き平均化）を用い、CIFAR-10でResNet20（fixup初期化）を評価する。

実験結果

リサーチクエスチョン

• RQ1 非i.i.d.データ分布下におけるフェデレーテッドラーニングにおける性能低下の主な原因は何か？
• RQ2 クライアントとサーバー間の通信オーバーヘッドを増加させることなく、非i.i.i.d. FLにおける性能向上は達成可能か？
• RQ3 ローカルモデル間の仮説の衝突が、FLにおけるグローバルモデルの収束性および精度に与える影響は何か？
• RQ4 軽微なサーバー側計算（例：微調整、モーメンタム、適応的学習率）を用いることで、非i.i.i.d.設定下での精度低下はどの程度軽減可能か？
• RQ5 通信効率を維持したまま、非i.i.i.d. FLにおける精度向上を最大限に引き出すには、どのような手法の組み合わせが最適か？

主な発見

• 非i.i.d.データ（FL - NIID(5)）を用いたベースラインのFL設定では、検証精度が73.0%にとどまり、集中学習性能（90.4%）と比較して17%以上の低下を示した。
• 5%のデータを用いたサーバー側トレーニングにより、精度は83.7%に向上し、ベースライン比で10.7ポイントの改善を達成した。
• L2ノルムのしきい値を3に設定した投影勾配降下法を適用すると、精度は77.5%に上昇し、ベースライン比で4.5ポイントの改善となった。
• 投影勾配降下法にガウスノイズ追加（STD = 1×10⁻⁴）を組み合わせた場合、精度は79.6%にまで上昇し、ベースライン比で6.6ポイントの改善を達成した。
• モーメンタム定数0.5を用いたサーバー側モーメンタムでは、精度が80.9%に向上し、ベースライン比で7.9ポイントの改善を達成したが、定数0.9では性能が低下し、ハイパーパramータ選択の感受性が示された。
• 最適な組み合わせ（5%サーバー側データ、モーメンタム（0.9）、適応的学習率）により、検証精度は85.7%に達し、ベースライン比で12.7ポイントの改善を達成した。集中学習性能との差は4.7%未満に収まった。