[論文レビュー] RingFed: Reducing Communication Costs in Federated Learning on Non-IID Data

Guang Yang, Mu Ke+3 more|arXiv (Cornell University)|Jul 19, 2021

Privacy-Preserving Technologies in Data参考文献 37被引用数 9

ひとこと要約

RingFed は、中央サーバーによる集約に依存せずに、クライント同士の直接的なパラメータ交換を可能にするリング型通信トポロジを導入することで、通信コストを低減する。局所学習後に隣接するクライント間で事前集約を行うことで、最終的なサーバー同期までの通信ラウンド数を大幅に削減し、特に非独立同分布（non-IID）データ条件下でも収束が速く、高い精度を達成する。

ABSTRACT

Federated learning is a widely used distributed deep learning framework that protects the privacy of each client by exchanging model parameters rather than raw data. However, federated learning suffers from high communication costs, as a considerable number of model parameters need to be transmitted many times during the training process, making the approach inefficient, especially when the communication network bandwidth is limited. This article proposes RingFed, a novel framework to reduce communication overhead during the training process of federated learning. Rather than transmitting parameters between the center server and each client, as in original federated learning, in the proposed RingFed, the updated parameters are transmitted between each client in turn, and only the final result is transmitted to the central server, thereby reducing the communication overhead substantially. After several local updates, clients first send their parameters to another proximal client, not to the center server directly, to preaggregate. Experiments on two different public datasets show that RingFed has fast convergence, high model accuracy, and low communication cost.

研究の動機と目的

• 帯域制限のある環境下でも通信コストが高くなる問題に対処すること。
• クライント間での統計的非同一性（non-IIDデータ）が生じる状況下でも収束性とモデル精度を向上させること。
• モデル集約のための中央サーバーへの依存度を低くすることで、ネットワークのボトルネックを軽減すること。
• システムの非均一性やデータスケイの影響を受けても性能を維持できるスケーラブルで頑健な通信フレームワークを設計すること。

提案手法

• RingFed は従来のスター型トポロジに代えてリング型トポロジを採用し、クライントがすべて中央サーバーと通信するのではなく、隣接するピアクライントとのみ通信する。
• 局所学習終了後、クライントは隣接クライントとパラメータを交換・平均することで事前集約を実行し、直接のサーバー送信回数を削減する。
• リングベースの交換プロセス中にクライント間のパラメータミキシングの度合いを制御するパラメータ γ を導入し、γ ∈ [0,1] がクライントのモデルがどれだけ隣接クライントのパラメータによって更新されるかを決定する。
• 最終的な集約モデルのみを中央サーバーに送信するため、通信量の合計を最小限に抑える。
• モデルの一貫性と収束性を維持するため、周期的なクライント選択とリングベースのパラメータ交換を組み合わせた、変更を加えた FedAvg に類似したトレーニングプロセスを採用する。
• 複数のデータセットとクライント選択率を考慮したハイパーパramータチューニングを実施し、学習率、モーメンタム、学習率の減衰率を最適化する。

実験結果

リサーチクエスチョン

• RQ1 標準的なスター型トポロジと比較して、リング型通信トポロジはフェデレーテッドラーニングにおける通信コストを低減できるか？
• RQ2 クライント間の事前集約が、非IIDデータ分布下での収束速度とモデル精度にどのように影響を与えるか？
• RQ3 リング交換プロセスにおける最適なパラメータミキシング比 γ は何か？収束性とパフォーマンスのバランスを取るために。
• RQ4 1ラウンドあたりのクライント選択数が、RingFed と FedAvg および他のベースラインとのパフォーマンスにどのように影響を与えるか？
• RQ5 データスケイやシステムの非均一性に対して、RingFed は既存手法をどの程度上回る頑健性を示すか？

主な発見

• RingFed は、非IID設定下で MNIST および FMNIST データセットにおいて、FedAvg よりも速い収束を達成し、少ない通信ラウンドで高いテスト精度に到達した。
• 1ラウンドあたり 50% のクライントを選択した場合、FMNIST で RingFed は 85.44% のテスト精度を達成し、FedAvg（80.92%）および他のベースラインを上回った。
• γ = 0.8 の場合、すべてのクライント選択率において最良のパフォーマンスを発揮し、FMNIST で 50% クライント選択時の平均精度は 85.44%、標準偏差は 0.27 を記録した。
• 10% のクライント選択率の場合、RingFed は γ=0.8 時に平均精度 75.49% を達成した（FedAvg は γ=0 時に 74.46%）。これにより、より高い頑健性が示された。
• 高いデータスケイと非IID条件下でも安定した収束を示した一方、FedAvg、FedProx、SCAFFOLD は顕著な発散を示した。
• 直接のサーバー送信を最小限に抑えることで通信コストが削減された。最終的なリング集約モデルのみをサーバーに送信するため、合計帯域幅使用量が削減された。