[論文レビュー] Federated Edge Learning : Design Issues and Challenges

Afaf Taïk, Soumaya Cherkaoui|arXiv (Cornell University)|Aug 31, 2020

Privacy-Preserving Technologies in Data参考文献 11被引用数 7

ひとこと要約

本稿は、エッジ制約下での学習効率とモデル収束性を向上させるために、データとモデルの多様性をデバイス選択およびリソース割り当てに統合する、データに配慮したスケジューリングフレームワークを提案する。非IIDおよびリソース制約のある環境において、データ分布の類似性やモデルパラメータの相違性といった多様性指標を活用することで、よりスマートで代表的なモデルアグリゲーションを実現し、冗長性を低減し、グローバルモデルの性能を向上させる。

ABSTRACT

Federated Learning (FL) is a distributed machine learning technique, where each device contributes to the learning model by independently computing the gradient based on its local training data. It has recently become a hot research topic, as it promises several benefits related to data privacy and scalability. However, implementing FL at the network edge is challenging due to system and data heterogeneity and resources constraints. In this article, we examine the existing challenges and trade-offs in Federated Edge Learning (FEEL). The design of FEEL algorithms for resources-efficient learning raises several challenges. These challenges are essentially related to the multidisciplinary nature of the problem. As the data is the key component of the learning, this article advocates a new set of considerations for data characteristics in wireless scheduling algorithms in FEEL. Hence, we propose a general framework for the data-aware scheduling as a guideline for future research directions. We also discuss the main axes and requirements for data evaluation and some exploitable techniques and metrics.

研究の動機と目的

• フェデレーテッドエッジラーニング（FEEL）における非IIDおよび不均衡なデータ分布の課題に取り組み、モデルの収束性と効率性を低下させることを目的とする。
• 既存のFEELアルゴリズムがデバイス選択およびリソース割り当てにおいてデータ特性を無視するという限界を克服することを目的とする。
• 学習パフォーマンスの向上を図るため、スケジューリング意思決定にデータとモデルの多様性を統合する汎用フレームワークを提案することを目的とする。
• さまざまな学習シナリオ（例：分類、時系列解析）に適用可能な測定可能な多様性指標と評価手法を提供することを目的とする。
• 将来的な研究を促進し、学習精度とシステム制約のバランスを取るリソース効率的でデータに配慮したFEELアルゴリズムの設計を支援することを目的とする。

提案手法

• デバイス選択にデータとモデルの多様性を統合した二段階スケジューリングフレームワーク（事前学習段階および事後学習段階）を導入する。
• データ多様性の測定として、コサイン類似度、ユークリッド距離、および発散（ベイジアン）を用い、データセットの類似性を評価し、多様なクライアントを選択する。
• モデル多様性の指標として、局所モデルとグローバルモデルパラメータ間のペアワイズ類似度およびL2,1-ノルムを用いた内部パラメータ相違度を適用し、スパarsityと冗長性の制御を実現する。
• しきい値に基づく制御を採用し、外れ値の選択を防ぎつつ、多様な更新からの情報量を最大化する。
• チャネル状態情報と多様性インデックスを統合し、通信品質と高いデータ／モデル多様性を両立するデバイスを優先順位付けする。
• 体系的なアルゴリズムフローを提案：モデルブロードキャスト → 局所学習 → 多様性インデックス報告 → 選択的アップロード → グローバルアグリゲーション。

実験結果

リサーチクエスチョン

• RQ1 フェデレーテッドエッジラーニングにおけるデバイススケジューリングに、どのようにしてデータ多様性を体系的に統合できるか？ これにより、モデル収束性がどのように向上するか？
• RQ2 非IIDかつ不均衡なエッジデータ環境下で、データとモデル表現を評価するための最も効果的な多様性指標は何か？
• RQ3 リソース制約下で、データとモデルの多様性を統合することで、冗長性がどの程度低減され、グローバルモデルのパフォーマンスが向上するか？
• RQ4 多次元エッジデータセットにおけるスケーリング、平行移動、回転に対して、多様性指標をどのようにして頑健に保てるか？
• RQ5 FEELにおける通信効率、モデル精度、多様性の間にはどのようなトレードオフがあり、それらを最適化するにはどうすればよいか？

主な発見

• デバイススケジューリングにデータ多様性を統合することで、類似したクライアントからの重複した更新を低減し、モデルの表現能力が著しく向上する。
• 局所モデルとグローバルモデルパラメータ間のコサイン類似度やユークリッド距離といったモデル多様性指標は、有益な更新を効果的に同定する。
• L2,1-ノルムを用いたパラメータ相違度の評価により、グループ単位のスパarsityが実現され、モデルパラメータ内の冗長性が低減され、一般化性能が向上する。
• 多様性に基づくスケジューリングは、非IIDデータ分布下でも、ランダムまたは均一選択に比べて収束速度と最終的な精度で優れる。
• しきい値処理機構により、外れ値への過剰依存を防ぎつつ多様性の恩恵を維持でき、異種エッジ環境における耐障害性が向上する。
• 本フレームワークにより、完全なデータアップロードを必要とせず、データ豊富で多様なクライアントを優先することで、スケーラブルかつプライバシー保護型の学習が可能になる。