[論文レビュー] Hybrid-FL for Wireless Networks: Cooperative Learning Mechanism Using Non-IID Data

Naoya Yoshida, Takayuki Nishio+3 more|arXiv (Cornell University)|May 17, 2019

Privacy-Preserving Technologies in Data参考文献 14被引用数 17

ひとこと要約

本稿では、非IIDデータによる性能劣化を軽減するため、少数のクライアント（1%未塔）がそのデータを中央サーバーにアップロードし、そこですべてのデータを用いてIIDに近いモデルを訓練する、新しいフェデレーテッドラーニングフレームワークであるHybrid-FLを提案する。その後、中央サーバーで訓練されたこのモデルと、他のクライアントが自身の非IIDデータで訓練したモデルを統合することで、非IIDデータ分布上での分類精度が、従来手法よりも13.5%向上した。

ABSTRACT

This paper proposes a cooperative mechanism for mitigating the performance degradation due to non-independent-and-identically-distributed (non-IID) data in collaborative machine learning (ML), namely federated learning (FL), which trains an ML model using the rich data and computational resources of mobile clients without gathering their data to central systems. The data of mobile clients is typically non-IID owing to diversity among mobile clients' interests and usage, and FL with non-IID data could degrade the model performance. Therefore, to mitigate the degradation induced by non-IID data, we assume that a limited number (e.g., less than 1%) of clients allow their data to be uploaded to a server, and we propose a hybrid learning mechanism referred to as Hybrid-FL, wherein the server updates the model using the data gathered from the clients and aggregates the model with the models trained by clients. The Hybrid-FL solves both client- and data-selection problems via heuristic algorithms, which try to select the optimal sets of clients who train models with their own data, clients who upload their data to the server, and data uploaded to the server. The algorithms increase the number of clients participating in FL and make more data gather in the server IID, thereby improving the prediction accuracy of the aggregated model. Evaluations, which consist of network simulations and ML experiments, demonstrate that the proposed scheme achieves a 13.5% higher classification accuracy than those of the previously proposed schemes for the non-IID case.

研究の動機と目的

• モバイルクライアント間で非IIDデータ分布が生じることによるフェデレーテッドラーニングの性能劣化を是正すること。
• ユーザーの興味や使用パターンの多様性により、本質的に非IIDであるクライアントデータを有する無線ネットワークにおけるモデル精度の向上。
• ローカルクライアント学習と、少量の選別されたデータを用いた集中学習を活用するハイブリッド学習メカニズムの設計。
• リソース制約と非IIDデータの下で、モデル統合を最適化するヒューリスティックなクライアントおよびデータ選択アルゴリズムの開発。
• 実際のMLワークロードを用いて、リアルなモバイルエッジコンピューティング（MEC）環境下で提案手法を評価すること。

提案手法

• Hybrid-FLは、クライアントが自身のローカル非IIDデータで訓練したモデルの統合と、少数のクライアントからアップロードされたデータを用いて中央で訓練されたモデルを組み合わせる。
• サーバーは、選択されたクライアントからのデータを集約し、その結果として近似的にIIDなデータセットを生成することで、一般化性能の向上を図る。
• クライアントの計算能力および通信能力を考慮し、最適なクライアントの選択にヒューリスティックなアルゴリズムを用いる。
• クライアントの多様性、データ品質、リソースの可用性をバランスさせることで、モデルの有用性と収束性を最大化する。
• スループット、計算のばらつき、データ分布を考慮したユーティリティ関数を用いて、モデルアップロードおよびデータアップロードのためのクライアント選択を統合的に実施する。
• 最終的なグローバルモデルは、中央で訓練されたモデルと、分散クライアントのモデルを平均化することで構築され、全体の性能が向上する。

実験結果

リサーチクエスチョン

• RQ1 ユーザー固有の使用パターンによって生じるクライアントデータの非IID性がフェデレーテッドラーニングの性能に与える影響をどのように改善できるか？
• RQ2 リソース制約下で、モデル訓練とデータアップロードにおけるクライアント参加の最適なトレードオフは何か？
• RQ3 少数のデータアップロードクライアントが、より代表的なデータセットを用いた集中学習を可能にすることで、モデル精度を顕著に向上させられるか？
• RQ4 モデルアップロードおよびデータアップロードのためのヒューリスティックな選択戦略が、非IID環境下での収束性と精度に与える影響は何か？
• RQ5 ネットワークやクライアントリソースの変動が生じる状況下でも、提案されたHybrid-FLフレームワークはどれほど頑健か？

主な発見

• Hybrid-FLは、非IIDデータ条件下でCIFAR-10データセット上において、従来手法よりも13.5%高い分類精度を達成した。
• データアップロードが1%未満のクライアントに限定された状況でも、標準的なフェデレーテッドラーニングや集中学習を上回る性能を示した。
• minCVベースのクライアント選択戦略は、maxClientに比べて高い精度を達成しており、主にサーバーに集められた約IIDデータの体積が10%大きいことに起因する。
• Hybrid-FL (maxThroughput/minCV) および Hybrid-FL (IID/minCV) の両バージョンが類似した性能を示し、他の構成よりも優れていた。
• リソースの変動（高r_var）下でも、Hybrid-FLは頑健な性能を維持し、選択のずれによる精度低下はわずかに抑えられた。
• 非IID度合いが異なる（異なるσ値を持つ）クライアントが共存しても性能は劣化せず、あらゆる設定で高い精度が維持された。