[论文解读] Active Learning Solution on Distributed Edge Computing

Jia Qian, Sayantan Sengupta+1 more|arXiv (Cornell University)|Jun 25, 2019

IoT and Edge/Fog Computing参考文献 25被引用 10

一句话总结

本文提出了一种新颖的主动学习与联邦学习框架，用于工业4.0中的分布式边缘计算，其中边缘设备使用蒙特卡洛丢弃贝叶斯神经网络来选择信息丰富的样本，从而降低标注成本和通信开销，同时雾节点通过联邦学习聚合模型。该方法在显著减少数据传输量并提升隐私保护的前提下，实现了与集中式训练相当的准确率，尤其在大规模设备部署且采用级联模型共享的场景下表现更优。

ABSTRACT

Industry 4.0 becomes possible through the convergence between Operational and Information Technologies. All the requirements to realize the convergence is integrated on the Fog Platform. Fog Platform is introduced between the cloud server and edge devices when the unprecedented generation of data causes the burden of the cloud server, leading the ineligible latency. In this new paradigm, we divide the computation tasks and push it down to edge devices. Furthermore, local computing (at edge side) may improve privacy and trust. To address these problems, we present a new method, in which we decompose the data aggregation and processing, by dividing them between edge devices and fog nodes intelligently. We apply active learning on edge devices; and federated learning on the fog node which significantly reduces the data samples to train the model as well as the communication cost. To show the effectiveness of the proposed method, we implemented and evaluated its performance for an image classification task. In addition, we consider two settings: massively distributed and non-massively distributed and offer the corresponding solutions.

研究动机与目标

• 解决面向工业4.0的云中心化机器学习中的高通信开销与延迟问题。
• 在分布式边缘环境中降低标注成本并提升数据效率。
• 通过将数据保留在边缘设备本地来保护用户隐私。
• 在单个设备数据有限的大规模边缘设备部署中提升模型性能。
• 在可扩展、保护隐私的AI目标下，将主动学习与联邦学习集成于雾计算架构中。

提出的方法

• 在边缘设备上应用蒙特卡洛丢弃贝叶斯神经网络，以估计模型不确定性并指导主动学习中的样本选择。
• 在雾节点使用联邦学习，通过聚合来自边缘设备的本地模型来实现模型聚合，而无需传输原始数据。
• 通过在边缘设备上训练本地模型并在雾节点聚合这些模型来分解计算负载，从而降低通信负担。
• 实现两种配置：非大规模分布（无设备间通信）与大规模分布（相邻设备间进行级联训练并共享模型）。
• 采用基于集成的模型不确定性估计方法，优先选择不确定性较高的样本进行标注。
• 在雾节点上使用完整数据或联邦聚合训练初始模型，以支持主动学习中有效的不确定性估计。

实验结果

研究问题

• RQ1 如何在分布式边缘-雾架构中有效应用主动学习以最小化标注成本？
• RQ2 通过蒙特卡洛丢弃估计模型不确定性对边缘设备中样本选择效率有何影响？
• RQ3 当边缘设备数据有限时，联邦学习的性能与集中式训练相比如何？
• RQ4 在单个设备样本极少的大规模边缘部署中，会产生哪些权衡？
• RQ5 相邻边缘设备之间级联模型共享是否能通过增加训练延迟来提升准确性？

主要发现

• 在非大规模场景（如4台设备）下，采用最优聚合策略的联邦学习实现了96.3%的准确率，仅需400个总训练样本，优于非联邦学习基线（1600个样本下准确率为90.1%）。
• 当20台设备每台使用60张图像（共1200张）进行训练时，使用联邦学习的集中式雾节点在仅400个有效训练样本下达到91.8%的准确率，而无通信设置下的准确率仅为75%。
• 在两台和四台边缘设备之间进行级联模型训练，尽管训练时间分别增加了2倍和4倍，但准确率分别提升至87%和90%。
• 在40次采集设置下，联邦学习中的最优模型聚合策略优于简单平均，实现了96.3%的准确率，且总样本数仅为400个。
• 集中式训练（1200个样本下准确率为89%）与无通信的分布式联邦学习（准确率为75%）之间的性能差距凸显了在大规模部署中设备间协调的必要性。
• 主动学习中的窗口大小显著影响性能：过小会导致不确定性估计不佳，过大则会降低主动采样的优势。