[論文レビュー] Hybrid-FL: Cooperative Learning Mechanism Using Non-IID Data in Wireless Networks.

Naoya Yoshida, Takayuki Nishio+3 more|arXiv (Cornell University)|May 17, 2019

Privacy-Preserving Technologies in Data被引用数 37

ひとこと要約

本稿では、非独立同分布（non-IID）データによる性能劣化を軽減するため、サーバーにデータをアップロードする少数のクライアント（1%未塔）を許可する協調的フェデレーテッドラーニングメカニズム、Hybrid-FLを提案する。アップロードされたデータを用いたサーバー側のモデル更新とクライアント側のトレーニングを組み合わせ、クライアントおよびデータ選択のヒューリスティックアルゴリズムを用いることで、非IIDsな環境下で先行手法よりも13.5%高いモデル精度を達成する。

ABSTRACT

This paper proposes a cooperative mechanism for mitigating the performance degradation due to non-independent-and-identically-distributed (non-IID) data in collaborative machine learning (ML), namely federated learning (FL), which trains an ML model using the rich data and computational resources of mobile clients without gathering their data to central systems. The data of mobile clients is typically non-IID owing to diversity among mobile clients' interests and usage, and FL with non-IID data could degrade the model performance. Therefore, to mitigate the degradation induced by non-IID data, we assume that a limited number (e.g., less than 1%) of clients allow their data to be uploaded to a server, and we propose a hybrid learning mechanism referred to as Hybrid-FL, wherein the server updates the model using the data gathered from the clients and aggregates the model with the models trained by clients. The Hybrid-FL solves both client- and data-selection problems via heuristic algorithms, which try to select the optimal sets of clients who train models with their own data, clients who upload their data to the server, and data uploaded to the server. The algorithms increase the number of clients participating in FL and make more data gather in the server IID, thereby improving the prediction accuracy of the aggregated model. Evaluations, which consist of network simulations and ML experiments, demonstrate that the proposed scheme achieves a 13.5% higher classification accuracy than those of the previously proposed schemes for the non-IID case.

研究の動機と目的

• モバイルクライアント間で非独立同分布（non-i.i.d.）のデータが存在する状況下で、フェデレーテッドラーニングの性能劣化を是正すること。
• デバイス間でデータ分布が著しく偏っている場合に、純粋なクライアント側トレーニングが抱える限界を克服すること。
• サーバーが、戦略的に選択された少数のクライアントデータを活用することで、グローバルモデルの更新を強化し、モデル精度を向上させること。
• 協調学習フレームワークにおいて、クライアント選択とデータ選択の問題を同時に解決し、参加度とデータ多様性を最大化すること。

提案手法

• クライアントのローカルデータを用いたクライアント側のモデルトレーニングと、アップロードされたクライアントデータを用いたサーバー側のモデル更新を組み合わせたハイブリッド学習メカニズム、Hybrid-FLを提案する。
• 参加度とデータ有効性のバランスを取るために、最適なクライアントのセットをモデルトレーニングおよびデータアップロード用にヒューリスティックアルゴリズムで選択する。
• サーバーがクライアントからのモデルを集約し、アップロードされたデータを用いてグローバルモデルを更新することで、トレーニングデータの代表性を向上させる。
• クライアント選択とデータ選択プロセスを、通信制約およびプライバシー制約の下でモデル精度を最大化するための統合最適化問題として定式化する。
• 1ラウンドのFLにおいて、ローカルおよびサーバー側の学習フェーズを統合し、グローバルモデルの整合性と収束性を保証する。
• 少数のクライアントからの限定的なデータ（例：<1%）を活用することで、サーバーのモデルを非IIDsな分布に対してより強固にする。

実験結果

リサーチクエスチョン

• RQ1 モバイルクライアント間で著しく非IIDsなデータ分布が存在する状況下で、フェデレーテッドラーニングの性能をどのように向上させられるか？
• RQ2 プライバシーを守るFL環境下で、クライアント参加度、データアップロード、モデル精度の最適なトレードオフは何か？
• RQ3 クライアント側とサーバー側の学習を統合したハイブリッドモデル更新戦略は、データの偏りによる性能劣化を低減できるか？
• RQ4 ヒューリスティックアルゴリズムは、モデル収束性および精度の向上に寄与する最適なクライアントおよびデータサブセットを選択するために、どの程度有効か？

主な発見

• Hybrid-FLは、非IIDsなデータ環境下で、以前に提案された手法よりも13.5%高い分類精度を達成する。
• 少数のクライアントがアップロードしたデータサンプルの統合により、サーバーのトレーニングデータの代表性が著しく向上する。
• ヒューリスティックベースのクライアントおよびデータ選択アルゴリズムは、参加クライアント数を増加させるとともに、サーバー上のデータ多様性を高めることに成功した。
• ハイブリッドトレーニングメカニズムは、データの偏りに起因する性能劣化を効果的に緩和し、純粋なクライアントオンリーやサーバーオンリーより優れた性能を発揮する。
• ネットワークシミュレーションおよび機械学習実験により、Hybrid-FLが無線ネットワーク環境下で堅牢かつスケーラブルであることが確認された。
• 限られたクライアントからのみデータアップロードを制限することでプライバシーを維持しながら、顕著な精度向上を達成している。