[論文レビュー] Computational Intelligence and Deep Learning for Next-Generation Edge-Enabled Industrial IoT

Shunpu Tang, Lunyuan Chen+3 more|arXiv (Cornell University)|Oct 28, 2021

IoT and Edge/Fog Computing被引用数 11

ひとこと要約

本稿では、リソース制約のある産業用IoTデバイスが、早期終了を介して部分的なサブモデルを用いてトレーニングし、共有モデルに貢献できるマルチエグジットベースのフェデレーテッドエッジ学習（ME-FEEL）フレームワークを提案する。これにより、遅延が顕著に低減され、参加率が向上する。知識蒸留とグリーディ帯域幅割り当てアルゴリズムを統合することで、ME-FEELは、極めて厳しいリソース制約下でも、従来のフェデレーテッドラーニングに比べて最大32.7%高い精度を達成する。

ABSTRACT

In this paper, we investigate how to deploy computational intelligence and deep learning (DL) in edge-enabled industrial IoT networks. In this system, the IoT devices can collaboratively train a shared model without compromising data privacy. However, due to limited resources in the industrial IoT networks, including computational power, bandwidth, and channel state, it is challenging for many devices to accomplish local training and upload weights to the edge server in time. To address this issue, we propose a novel multi-exit-based federated edge learning (ME-FEEL) framework, where the deep model can be divided into several sub-models with different depths and output prediction from the exit in the corresponding sub-model. In this way, the devices with insufficient computational power can choose the earlier exits and avoid training the complete model, which can help reduce computational latency and enable devices to participate into aggregation as much as possible within a latency threshold. Moreover, we propose a greedy approach-based exit selection and bandwidth allocation algorithm to maximize the total number of exits in each communication round. Simulation experiments are conducted on the classical Fashion-MNIST dataset under a non-independent and identically distributed (non-IID) setting, and it shows that the proposed strategy outperforms the conventional FL. In particular, the proposed ME-FEEL can achieve an accuracy gain up to 32.7% in the industrial IoT networks with the severely limited resources.

研究の動機と目的

• 計算能力、帯域幅、チャネル品質にばらつきがあるエッジ対応産業用IoTネットワークにおけるシステムの非均一性に対処すること。
• 早期終了を許容することで、デバイスが部分的なサブモデルのみをトレーニングし、低遅延かつプライバシー保護型のモデルトレーニングを可能にすること。
• 厳密な遅延および帯域幅制約下でも、通信ラウンドごとに参加デバイス数を最大化すること。
• 特徴抽出能力が通常弱い早期終了の性能を、自己知識蒸留を用いて向上させること。
• システム全体の参加率と収束性を最適化する、エグジット選択と帯域幅割り当ての共同戦略を開発すること。

提案手法

• 深層ニューラルネットワークに、異なる深さに複数のエグジットを設け、デバイスが利用可能なリソースに応じて、選択されたエグジットまでのみトレーニングおよびアップロードできるようにする。
• 各エグジットは予測を出力し、すべてのエグジットが共通のサブアーキテクチャを持つようにトレーニングすることで、集約時の互換性を確保する。
• 自己知識蒸留技術を適用し、より深い（正確性が高い）エグジットから浅いエグジットへ知識を転送することで、早期終了の性能を向上させる。
• 期待されるエグジット数を最大化するように、各デバイスの最適なエグジット選択と、利用可能な帯域幅の割り当てを同時に最適化するグリーディアルゴリズムを提案する。
• 非i.i.d.データ分布を想定し、遅延および帯域幅制約下でFashion-MNISTデータセットを用いてフレームワークを評価する。
• フェデレーテッドラーニングの原則に従い、生データではなくモデル重みのみを交換することで、モデルのプライバシーを維持する設計である。

Figure 1: Federated edge learning system.

実験結果

リサーチクエスチョン

• RQ1 計算リソースおよび通信リソースに制限のあるエッジ対応産業用IoTデバイスは、どのようにフェデレーテッドラーニングに効果的に参加できるか？
• RQ2 リソース制約に応じて、デバイスがどのエグジット（サブモデルの深さ）をトレーニングすべきか、最適な戦略は何か？
• RQ3 通常は精度が低い早期終了の性能を、モデル複雑度を増加させずにどのように向上できるか？
• RQ4 遅延および帯域幅制約下で、通信ラウンドごとに参加デバイス数を最大化するための共同リソース割り当て戦略は何か？
• RQ5 提案されたME-FEELフレームワークは、現実的で非i.i.d.かつリソース制限のある条件下で、従来のフェデレーテッドラーニングに比べてどのように性能を発揮するか？

主な発見

• ME-FEELは、極めてリソース制限の厳しい産業用IoTネットワークにおいて、従来のフェデレーテッドラーニングに比べて最大32.7%の精度向上を達成した。
• 知識蒸留の適用により、最初のエグジットの精度が6%向上し、全エグジットの性能が向上した。それぞれ、エグジット2から5では、4.5%、3.53%、2.25%、1.3%の向上が見られた。
• 12秒の遅延しきい値下で、ME-FEELは従来のFEELに比べ2.68%の精度向上を達成し、FEEL-UBに比べ16.6%の向上を示した。
• 通信帯域幅を50 MHzから35 MHzに低下させた場合、ME-FEELはわずかな性能低下しか示さず、FEEL-UBに比べ20.75%の精度優位性を維持した。
• 提案されたグリーディなエグジット選択および帯域幅割り当てアルゴリズムにより、ラウンドごとの参加デバイス数が顕著に増加し、モデルの収束性と耐障害性が向上した。
• ME-FEELは、さまざまな遅延および帯域幅条件において優れた耐障害性を示し、テストされたすべての設定でFEELおよびFEEL-UBを上回った。

Figure 2: An example of multi-exit mechanism.