[论文解读] Computational Intelligence and Deep Learning for Next-Generation Edge-Enabled Industrial IoT

Shunpu Tang, Lunyuan Chen+3 more|arXiv (Cornell University)|Oct 28, 2021

IoT and Edge/Fog Computing被引用 11

一句话总结

本文提出了一种基于多出口的联邦边缘学习（ME-FEEL）框架，使资源受限的工业物联网设备能够通过早期退出机制，仅使用部分子模型进行训练并贡献模型，显著降低延迟并提升参与度。通过集成知识蒸馏与一种贪心带宽分配算法，ME-FEEL 在严重资源约束下相比传统联邦学习最高可提升 32.7% 的准确率。

ABSTRACT

In this paper, we investigate how to deploy computational intelligence and deep learning (DL) in edge-enabled industrial IoT networks. In this system, the IoT devices can collaboratively train a shared model without compromising data privacy. However, due to limited resources in the industrial IoT networks, including computational power, bandwidth, and channel state, it is challenging for many devices to accomplish local training and upload weights to the edge server in time. To address this issue, we propose a novel multi-exit-based federated edge learning (ME-FEEL) framework, where the deep model can be divided into several sub-models with different depths and output prediction from the exit in the corresponding sub-model. In this way, the devices with insufficient computational power can choose the earlier exits and avoid training the complete model, which can help reduce computational latency and enable devices to participate into aggregation as much as possible within a latency threshold. Moreover, we propose a greedy approach-based exit selection and bandwidth allocation algorithm to maximize the total number of exits in each communication round. Simulation experiments are conducted on the classical Fashion-MNIST dataset under a non-independent and identically distributed (non-IID) setting, and it shows that the proposed strategy outperforms the conventional FL. In particular, the proposed ME-FEEL can achieve an accuracy gain up to 32.7% in the industrial IoT networks with the severely limited resources.

研究动机与目标

• 解决边缘赋能的工业物联网网络中的系统异构性问题，其中设备在计算能力、带宽和信道质量方面各不相同。
• 通过允许设备通过早期退出仅训练部分子模型，实现低延迟、隐私保护的模型训练。
• 在严格的延迟与带宽约束下，最大化每轮通信中参与设备的数量。
• 通过自知识蒸馏技术提升早期退出的性能——这些退出通常在特征提取方面表现较弱。
• 设计一种联合退出选择与带宽分配策略，以优化系统整体的参与度与收敛性。

提出的方法

• 在深度神经网络的不同深度处设置多个退出点，使设备可根据其可用资源仅训练并上传至选定的退出点。
• 每个退出点生成预测结果，且所有退出点共享一个共同的子架构，以确保聚合过程中的兼容性。
• 应用自知识蒸馏技术，将深层、更准确的退出点的知识迁移至浅层退出点，从而提升早期退出点的性能。
• 提出一种贪心算法，联合选择每台设备的最优退出点，并分配可用带宽，以最大化每轮中预期的退出点数量。
• 在延迟与带宽受限的环境中，使用 Fashion-MNIST 数据集在非独立同分布（non-iid）数据分布下对系统进行评估。
• 通过仅交换模型权重而非原始数据，系统设计确保了模型隐私，符合联邦学习原则。

Figure 1: Federated edge learning system.

实验结果

研究问题

• RQ1 在计算与通信资源有限的边缘赋能工业物联网设备中，如何实现其在联邦学习中的有效参与？
• RQ2 在给定设备资源约束的前提下，选择哪个退出点（子模型深度）进行训练是最优策略？
• RQ3 如何在不增加模型复杂度的前提下，提升早期退出点的性能——这些退出点通常准确率较低？
• RQ4 何种联合资源分配策略可在延迟与带宽约束下，最大化每轮通信中贡献设备的数量？
• RQ5 在真实场景下的非独立同分布与资源受限条件下，所提出的 ME-FEEL 框架相较于传统联邦学习表现如何？

主要发现

• 在高度资源受限的工业物联网网络中，ME-FEEL 相较于传统联邦学习最高实现了 32.7% 的准确率提升。
• 知识蒸馏的使用使第一个退出点的准确率提升了 6%，并显著改善了所有退出点的性能，其中退出点 2 至 5 的准确率分别提升了 4.5%、3.53%、2.25% 和 1.3%。
• 在 12 秒延迟阈值下，ME-FEEL 相较于传统 FEEL 提升了 2.68% 的准确率，相较 FEEL-UB 提升了 16.6%。
• 当通信带宽从 50 MHz 降低至 35 MHz 时，ME-FEEL 仅表现出轻微性能下降，但仍保持相较于 FEEL-UB 20.75% 的准确率优势。
• 所提出的贪心退出选择与带宽分配算法有效提升了每轮参与设备的数量，增强了模型收敛性与鲁棒性。
• 在不同延迟与带宽条件下，ME-FEEL 展现出卓越的鲁棒性，在所有测试配置下均优于 FEEL 与 FEEL-UB。

Figure 2: An example of multi-exit mechanism.