[論文レビュー] Auction Based Clustered Federated Learning in Mobile Edge Computing System

Renhao Lu, Weizhe Zhang+3 more|arXiv (Cornell University)|Mar 12, 2021

Privacy-Preserving Technologies in Data参考文献 27被引用数 8

ひとこと要約

本稿は、モバイルエッジコンピューティングにおけるオークションベースのクラスタリング型フェデレーテッドラーニングフレームワークを提案し、データの非独立同分布性（Non-IID）および不均衡なデータ分布、エネルギー制約の問題に対処する。クライアントをモデルの類似性に基づいてクラスタリングし、各クラスタ内でオークションメカニズムを用いてエネルギー消費と収束のバランスを取ることで、現実のデータ分布とリソース制限下でも、収束速度の向上とモデル精度の向上を達成する。

ABSTRACT

In recent years, mobile clients' computing ability and storage capacity have greatly improved, efficiently dealing with some applications locally. Federated learning is a promising distributed machine learning solution that uses local computing and local data to train the Artificial Intelligence (AI) model. Combining local computing and federated learning can train a powerful AI model under the premise of ensuring local data privacy while making full use of mobile clients' resources. However, the heterogeneity of local data, that is, Non-independent and identical distribution (Non-IID) and imbalance of local data size, may bring a bottleneck hindering the application of federated learning in mobile edge computing (MEC) system. Inspired by this, we propose a cluster-based clients selection method that can generate a federated virtual dataset that satisfies the global distribution to offset the impact of data heterogeneity and proved that the proposed scheme could converge to an approximate optimal solution. Based on the clustering method, we propose an auction-based clients selection scheme within each cluster that fully considers the system's energy heterogeneity and gives the Nash equilibrium solution of the proposed scheme for balance the energy consumption and improving the convergence rate. The simulation results show that our proposed selection methods and auction-based federated learning can achieve better performance with the Convolutional Neural Network model (CNN) under different data distributions.

研究の動機と目的

• フェデレーテッドラーニングにおけるモバイルエッジクライアント間でのデータ非独立同分布性（Non-IID）および不均衡なデータ分布の課題に対処する。
• エネルギー消費のボトル neck を軽減するため、エネルギーをバランスさせたクライアント選択を可能にする。
• クライアントのクラスタリングとインcentive（インcentive）ベースの選択を活用することで、フェデレーテッドラーニングの収束速度とモデル精度を向上させる。
• ナッシュ均衡に基づくオークションメカニズムを設計し、参加の公平な割り当てを実現するとともに、エネルギー使用と学習性能のバランスを取る。

提案手法

• 初期勾配の類似性に基づくクライアントクラスタリング戦略を提案し、グローバルデータ分布を近似するフェデレーテッド仮想データセットを形成する。
• 各クラスタ内で、クライアントがエネルギー水準とモデル品質に基づいて入札するオークションメカニズムを適用し、参加者を決定する。
• オークションプロセスにおいてナッシュ均衡解を用いることで、クライアント参加意思決定の安定性と公平性を保証する。
• リプシッツ連続性と強い凸性の仮定の下で理論的収束解析を実施し、近似的最適解への収束を証明する。
• ステップサイズルールを採用し、モデル滑らかさとクライアントのエネルギーに関連する定数を用いて、損失関数の期待値の減少をバウンディングする。
• 期待損失ギャップの指数的減衰を示す収束バウンドを導出する。残留誤差はシステムパラメータに依存する。

実験結果

リサーチクエスチョン

• RQ1 初期勾配に基づくクライアントのクラスタリングが、フェデレーテッドラーニングにおけるNon-IIDおよび不均衡なデータの影響を効果的に軽減できるか？
• RQ2 クラスタ内でのオークションメカニズムが、モバイルエッジフェデレーテッドラーニングにおいてエネルギー消費と収束速度の両立をどのように実現できるか？
• RQ3 提案手法がクライアント参加意思決定においてナッシュ均衡に達するか、戦略的安定性と公平性が保証されるか？
• RQ4 クラスタリングとオークションベースの選択は、ランダム選択や非クラスタリング選択と比較して、収束速度とモデル精度をどの程度向上させるか？
• RQ5 提案されたクライアント選択およびクラスタリング戦略のもとで、収束に関する理論的保証はどの程度得られるか？

主な発見

• 提案されたクラスタリングベースのクライアント選択法により、グローバルデータ分布を近似するフェデレーテッド仮想データセットが生成され、データ非独立同分布性の悪影響が効果的に軽減される。
• オークションメカニズムはナッシュ均衡に達し、エネルギー消費と収束性能の両立を図る安定的かつ公平なクライアント参加意思決定を保証する。
• 理論的解析により、アルゴリズムが近似的最適解に収束することを証明し、期待損失ギャップが最小エネルギー水準およびモデル滑らかさに逆比例する項によってバウンディングされることを示した。
• シミュレーション結果から、CNNを用いた実験において、ベースライン手法と比較して、Non-IIDおよび不均衡なデータ分布のさまざまな条件下でも、収束速度が優れており、モデル精度が向上していることが示された。
• 特にデータ非独立同分布性が高く、クライアントのエネルギーが限られているシステムでは、収束速度の向上が顕著に見られた。