[論文レビュー] Federated Learning with Server Learning: Enhancing Performance for Non-IID Data

Van Sy Mai, Richard J. La+1 more|arXiv (Cornell University)|Oct 6, 2022

Privacy-Preserving Technologies in Data被引用数 4

ひとこと要約

本稿では、非同一分布（non-IID）データ下でのフェデレーテッドラーニング（FL）性能を向上させるために、中央サーバーが小規模なプライベートデータセットを用いて補助学習を実行できる新たな手法であるフェデレーテッドサーバーラーニング（FSL）を提案する。限られたデータ量や分布が異なるサーバーデータであっても、Federated Averaging（FedAvg）、SCAFFOLD、FedDynといった従来のFL手法と比較して、FSLはモデルの精度と収束速度を顕著に向上させる。

ABSTRACT

Federated Learning (FL) has emerged as a means of distributed learning using local data stored at clients with a coordinating server. Recent studies showed that FL can suffer from poor performance and slower convergence when training data at clients are not independent and identically distributed. Here we consider a new complementary approach to mitigating this performance degradation by allowing the server to perform auxiliary learning from a small dataset. Our analysis and experiments show that this new approach can achieve significant improvements in both model accuracy and convergence time even when the server dataset is small and its distribution differs from that of the aggregated data from all clients.

研究の動機と目的

• クライントのデータが非同一分布（non-IID）である場合に生じるフェデレーテッドラーニングの性能低下を是正すること。
• 中央サーバー（通常は受動的と見なされる）が補助学習を通じてFL性能を能動的に向上させられるかどうかを検討すること。
• サーバーデータのサイズと分布的乖離がFL性能に与える影響を評価すること。
• サーバーラーニングが既存のFL技術と軽量かつ補完的かつ効果的に統合可能であることを示すこと。

提案手法

• サーバーはクライントデータとは異なる小規模なプライベートデータセットを用いて局所モデルを訓練し、グローバルモデルの更新の基準として機能させる。
• グローバルモデルは、クライントモデルの更新とサーバーモデルの更新を重み付きで組み合わせて更新し、両者の寄与度を調整する学習可能なサーバー重みγを導入する。
• サーバー知識を正則化項として組み込んだ最適化目的関数を導入することで、グローバル最適解への整合性が向上する。
• 従来のFLフレームワークと互換性があり、SCAFFOLD や FedDyn といった手法と組み合わせて利用可能である。
• サーバーデータは実際のデータ、合成データ、またはシミュレーションデータであってもよく、限られたデータでも実用的な展開が可能である。
• 学習率スケジューリングと正則化を用いることで、学習の安定性を高め、収束性を改善する。

実験結果

リサーチクエスチョン

• RQ1 中央サーバーが小規模なデータセットを用いて補助学習を実行することで、フェデレーテッドラーニングの性能を向上させられるか？
• RQ2 サーバーデータとクライントデータの分布的乖離が、性能向上に与える影響は何か？
• RQ3 サーバーデータのサイズが、モデルの精度と収束速度の向上に与える影響は何か？
• RQ4 非同一分布条件下において、サーバーラーニングがSCAFFOLD や FedDyn といった最先端のFLアルゴリズムを上回る性能を示せるか？
• RQ5 サーバーデータが合成的に生成されたものである場合や、異なるドメインからのものである場合でも、サーバーラーニングの恩恵は頑健か？

主な発見

• FSLは、C=2（極めて非同一分布）のCIFAR-10で1,000ラウンド後に0.6144のテスト精度を達成し、FedDyn（0.5779）を上回った。
• CIFAR-10でC=2の条件下で、FSLは203ラウンドで50％の精度に到達したのに対し、FedDynは502ラウンドを要した。収束速度の向上が明確に示された。
• 合成サーバーデータ（FSLsyn）を用いても、EMNISTではFSLと同等の性能を達成し、CIFAR-10ではわずかに劣るが依然として優れた結果を示した。
• CIFAR-10において、サーバーデータサイズを250から500に増加させたことで、FSLの精度は0.5835から0.5845に向上し、より多くのデータが有益であることが実証された。
• 実際のサーバーデータ（n₀=250）を用いたFSLは、より大きな合成データ（n₀=720）を用いたFSLsynを上回った。これは、データの分布がサイズよりも重要であることを示している。
• ハイパーパrameterの選択に対して頑健であり、さまざまな学習率や正則化パラメータの下でも安定した性能を示した。