[論文レビュー] Enhancing Efficiency in Multidevice Federated Learning through Data Selection

Fan Mo, Mohammad Malekzadeh+3 more|arXiv (Cornell University)|Nov 8, 2022

Privacy-Preserving Technologies in Data被引用数 4

ひとこと要約

Centaurは、データ選択とパーティション化に基づく学習を組み合わせることで、超制限されたエッジデバイス（UCDs）が大規模なディープニューラルネットワークの学習に効率的に参加できるマルチティアのフェデレーテッドラーニングフレームワークである。UCDsにおけるローカル学習と比較して、約10%高い精度と約58%のエネルギー節約を達成し、データの不均衡や接続性の非均一性に対しても効果的に対処する。

ABSTRACT

Ubiquitous wearable and mobile devices provide access to a diverse set of data. However, the mobility demand for our devices naturally imposes constraints on their computational and communication capabilities. A solution is to locally learn knowledge from data captured by ubiquitous devices, rather than to store and transmit the data in its original form. In this paper, we develop a federated learning framework, called Centaur, to incorporate on-device data selection at the edge, which allows partition-based training of a deep neural nets through collaboration between constrained and resourceful devices within the multidevice ecosystem of the same user. We benchmark on five neural net architecture and six datasets that include image data and wearable sensor time series. On average, Centaur achieves ~19% higher classification accuracy and ~58% lower federated training latency, compared to the baseline. We also evaluate Centaur when dealing with imbalanced non-iid data, client participation heterogeneity, and different mobility patterns. To encourage further research in this area, we release our code at https://github.com/nokia-bell-labs/data-centric-federated-learning

研究の動機と目的

• メモリ、計算能力、接続性が制限された、ウェアラブル機器やIoTセンサーなどの超制限されたデバイス（UCDs）における効率的なフェデレーテッドラーニングを可能にすること。
• 近隣の高性能なデバイス（例：スマートフォン）をリレーデバイスとして活用することで、UCDsにおける不安定で途切れの生じるネットワーク接続の課題に対処すること。
• リソース制限があり、非均一で不均衡なFL環境下でも、高いモデル精度を維持しながらエネルギーと帯域幅のオーバーヘッドを低減すること。
• 動的に最も情報価値の高いデータをUCDsからAPsに選択的に送信することで、冗長な通信と計算を最小限に抑えるシステムを設計すること。
• 既存のFLパラダイム（例：FedAvg）と互換性を持たせ、モデル圧縮や階層的アグリゲーションなどの拡張機能をサポートすること。

提案手法

• ディープニューラルネットワークを、UCDsで学習する軽量な分類器と、より能力の高いアクセスポイント（APs）で学習する強力なエンコーダーに分割する。
• トレーニング損失と勾配ノルムを用いたデータ選択メカニズムを適用し、サンプルを3つのグループに分類する：破棄、UCDsでローカルに学習、APsに送信。
• UCDsでのエンコーダーを凍結し、分類器のみをローカルで学習することで、計算負荷とエネルギー消費を低減する。
• AP上で勾配をUCDsとAPsの両方から集約してフェデレーテッドアベーリージングを実行し、完全なモデル転送なしに統合的なモデル更新を可能にする。
• 動的な接続状況とデバイスの能力に適応するリソースに配慮したトレーニング戦略を採用し、変動するネットワーク環境下でも安定性を確保する。
• 他のFLアルゴリズム（例：FedProx、FedAdam）との互換性をサポートし、将来的な拡張機能（例：ニューラルアーキテクチャサーチ、ラベルなしデータ選択）にも対応できる。

実験結果

リサーチクエスチョン

• RQ1 限られたメモリ、計算能力、途切れの生じる接続性を有する超制限されたエッジデバイス（UCDs）にフェデレーテッドラーニングをどのように効率的にスケーリングできるか？
• RQ2 マルチデバイスFL環境下で、通信とエネルギーのオーバーヘッドを最小限に抑えつつ、モデル精度を最大化するデータ選択戦略は何か？
• RQ3 UCDsとAPs間でのモデルパーティショニングは、収束性や精度に悪影響を及げることなく、どのように学習効率を向上させられるか？
• RQ4 Centaurは、精度、エネルギー効率、データの不均衡やクライアントの非均一性に対する耐性という観点から、ベースラインのローカル学習や標準的なFLに比べてどの程度優れているか？
• RQ5 このフレームワークは、1つのAPに複数のUCDsをサポートするように拡張可能であり、モデル圧縮やアーキテクチャサーチなどの高度な技術と統合可能か？

主な発見

• Centaurは、4つのベンチマークニューラルネットワークと3つのデータセットにおいて、超制限されたデバイスでのローカル学習と比較して、約10%高いモデル精度を達成する。
• 選択的データ送信とUCDsにおける軽量なローカル学習のおかげで、Centaurはローカル学習と比較して平均エネルギー消費を58%削減する。
• Centaurはデータの不均衡下でも優れたパフォーマンスを示し、一部のクライントが少ないか、代表的でないサンプルを提供しても、収束性と精度が向上する。
• 変動するネットワーク接続確率下でも高い効率性を維持し、途切れの生じるクライント参加に対しても耐性を示す。
• データ選択とパーティショニングに基づく学習により、UCDs上で効果的なモデル更新が可能となり、重い計算をAPsにオフロードすることで、精度とリソース使用のバランスを取れる。
• Centaurは標準的なFLアルゴリズム（例：FedAvg）と互換性があり、圧縮技術や階層的アグリゲーション手法を組み合わせることでさらなる性能向上が可能である。