[論文レビュー] Attentive Federated Learning for Concept Drift in Distributed 5G Edge Networks

Amir Hossein Estiri, Muthucumaru Maheswaran|arXiv (Cornell University)|Nov 14, 2021

Data Stream Mining Techniques被引用数 7

ひとこと要約

本稿では、5Gエッジネットワークにおける概念ずれの適応を向上させるために、注意メカニズムを用いてモデル更新の重みを動的に制御する「注意型フェデレーテッドラーニング（FedAtt）」を提案する。FedAttは、単一および複数のフォッグ・ドリフト環境において、FedAvgと比較して平均絶対誤差を約20%低減し、再訓練を必要とせずに異種のエッジノード間で迅速な適応と知識の共有を実現する。

ABSTRACT

Machine learning (ML) is expected to play a major role in 5G edge computing. Various studies have demonstrated that ML is highly suitable for optimizing edge computing systems as rapid mobility and application-induced changes occur at the edge. For ML to provide the best solutions, it is important to continually train the ML models to include the changing scenarios. The sudden changes in data distributions caused by changing scenarios (e.g., 5G base station failures) is referred to as concept drift and is a major challenge to continual learning. The ML models can present high error rates while the drifts take place and the errors decrease only after the model learns the distributions. This problem is more pronounced in a distributed setting where multiple ML models are being used for different heterogeneous datasets and the final model needs to capture all concept drifts. In this paper, we show that using Attention in Federated Learning (FL) is an efficient way of handling concept drifts. We use a 5G network traffic dataset to simulate concept drift and test various scenarios. The results indicate that Attention can significantly improve the concept drift handling capability of FL.

研究の動機と目的

• 移動性、障害、または新規インフラの導入によって予測不能に変化するデータ分布の影響を受ける動的で変化しやすい5Gエッジネットワークにおけるフェデレーテッドラーニングにおける概念ずれの課題に対処すること。
• FedAvgにおける固定平均化の代わりに、注意に基づく動的重み付けを用いて、概念ずれ発生後のモデル適応速度を向上させること。
• 他のノードで観測されたずれのパターンを学習・再利用することで、異なるフォッグノード間での知識の共有を可能にすること。
• 新規フォッグステーションの処理を一時的に安定した既存のモデルにルーティングするためのスイッチング機構を設計すること。
• 再訓練を再び行わずに、一時的および恒久的な概念ずれの両方を効果的に処理できる柔軟性を示すこと。

提案手法

• 学習可能な注意重みを用いて、グローバル集約時に各ローカルモデルの寄与度を動的に調整する、FedAvgの変種として「フェデレーテッド・アテンション（FedAtt）」を提案する。
• 異なるフォッグノード間でずれのパターンを捉え、ずれの知識の転移学習を可能にする、マルチヘッド注意メカニズムを導入する。
• 新規フォッグが導入された際、受信クエリを分類し、最も適切な前ずれのフォッグモデルにルーティングするための、2層の全結合ニューラルネットワークをスイッチングアルゴリズムとして採用する。
• 5Gネットワークトラフィックデータセットを用いて、ステーション障害や一時的な負荷変動を含む概念ずれをシミュレートし、モデルのパフォーマンスを評価する。
• クエリ分類モデルの学習には交差エントロピー損失を適用し、新規フォッグ統合時のテストセットにおける精度を評価する。
• モデルが過去の知識を保持しながら新しいデータ分布に適応できる継続的学習の枠組みとして問題を定式化する。

実験結果

リサーチクエスチョン

• RQ1 標準的なFedAvgと比較して、フェデレーテッドラーニングにおける注意メカニズムが、分散型5Gエッジネットワークにおける概念ずれへの適応時間の短縮に顕著な効果をもたらすか？
• RQ2 FedAttは、以前に他のノードで経験した概念ずれの知識を、同じずれを経験する新規フォッグノードに効果的に転送できるか？
• RQ3 複数の異なるフォッグノードで同時に発生する複数の概念ずれに対しても、FedAttは低誤差率を維持できるか？
• RQ4 提案されたスイッチングアルゴリズムは、ユーザークエリの中断を最小限に抑えながら、新規フォッグステーションの統合を効果的に処理できるか？
• RQ5 再訓練を再び行わずに、一時的な概念ずれをFedAttが処理できるか？

主な発見

• FedAttは、単一フォッグおよび複数フォッグの概念ずれシナリオにおいて、FedAvgと比較して平均絶対誤差を約20%低減し、優れた適応速度を示している。
• 他のフォッグで事前に学習済みのずれを、新しいフォッグノードで10ステップの訓練後に再適応できることから、効果的な知識転送が実現している。
• 3つの異なるフォッグノードで同時に複数の概念ずれが発生しても、収束後、すべてのフォッグノードで低誤差率を維持している。
• 新規フォッグステーションの導入時、スイッチングアルゴリズムは受信クエリの分類において95%の精度を達成し、適切な前ずれモデルにルーティングしている。
• 一時的な概念ずれに対しても、再訓練を必要とせず、過去の知識を保持しながら新しいデータ分布に適応できることを示している。
• 注意メカニズムにより、FedAvgの固定重み平均化と比較して、動的エッジ環境における収束速度の向上とより優れた一般化性能が達成されている。