[论文解读] Distilling On-Device Intelligence at the Network Edge

Jihong Park, Shiqiang Wang+7 more|arXiv (Cornell University)|Aug 16, 2019

Privacy-Preserving Technologies in Data参考文献 15被引用 32

一句话总结

本文提出雾机器学习（FML），一种通信高效、隐私保护的框架，用于在无线网络边缘使用模型参数、输出和代理数据训练设备端人工智能模型。通过自适应调度、多跳通信和样本压缩，该框架在无线信道受限、非独立同分布（non-IID）数据和设备资源有限的条件下，实现了高准确率和强鲁棒性。

ABSTRACT

Devices at the edge of wireless networks are the last mile data sources for machine learning (ML). As opposed to traditional ready-made public datasets, these user-generated private datasets reflect the freshest local environments in real time. They are thus indispensable for enabling mission-critical intelligent systems, ranging from fog radio access networks (RANs) to driverless cars and e-Health wearables. This article focuses on how to distill high-quality on-device ML models using fog computing, from such user-generated private data dispersed across wirelessly connected devices. To this end, we introduce communication-efficient and privacy-preserving distributed ML frameworks, termed fog ML (FML), wherein on-device ML models are trained by exchanging model parameters, model outputs, and surrogate data. We then present advanced FML frameworks addressing wireless RAN characteristics, limited on-device resources, and imbalanced data distributions. Our study suggests that the full potential of FML can be reached by co-designing communication and distributed ML operations while accounting for heterogeneous hardware specifications, data characteristics, and user requirements.

研究动机与目标

• 解决在无线网络中使用边缘设备用户生成的私有数据训练高质量设备端机器学习模型的挑战。
• 实现在资源受限、异构设备间的通信高效且隐私保护的分布式学习，适用于雾无线电接入网（RANs）。
• 克服传统联邦学习的局限性，如固定通信间隔、单点故障服务器，以及对非独立同分布（non-IID）数据和对抗性攻击的脆弱性。
• 协同设计通信与机器学习操作，以在真实无线环境约束下（包括信道不对称、功率受限和动态信道条件）优化性能。

提出的方法

• 提出自适应调度（S1），根据信道条件和训练动态动态调整通信间隔，提升效率和鲁棒性。
• 引入无服务器FML框架（S2），采用多跳通信以降低传输功率并避免单点故障风险。
• 采用区块链集成（S3）以增强信任度，并提升对对抗性攻击和设备故障的韧性。
• 开发MultFAug（S4–S5），适用于大模型和不对称信道，通过多跳转发和种子样本的压缩稀疏行（CSR）表示实现高效模型聚合。
• 引入通过标签指示符压缩（S6）和多跳转发实现的代理数据交换，以减少隐私泄露和数据负载。
• 应用样本压缩和公开SDI构建，以最小化虚假标签使用，提升通信效率并保护数据隐私。

实验结果

研究问题

• RQ1 如何根据动态信道条件和训练进度自适应调整通信间隔，以提升效率和鲁棒性？
• RQ2 如何在传输功率有限且不依赖中心服务器的前提下，使FML扩展至大量设备？
• RQ3 如何在去中心化环境中提升FML对设备故障和对抗性攻击的韧性？
• RQ4 如何在分布式边缘学习中有效管理大模型和上行/下行信道容量不对称的问题？
• RQ5 如何在不暴露原始数据的前提下，缓解设备端联邦学习中的数据不平衡和非独立同分布（non-IID）分布问题？

主要发现

• 自适应调度通过将训练更新与实际信道质量和模型进展对齐，降低了通信开销并提升了收敛性能。
• 无服务器FML结合多跳转发，使远距离设备能以低传输功率实现通信，降低能耗并避免单点故障风险。
• 采用压缩稀疏行（CSR）格式的多跳通信可将数据负载减少高达50%，显著提升频谱效率。
• 通过多跳转发实现的样本压缩与公开SDI构建，通过最小化所需虚假标签数量，有效降低隐私泄露风险。
• 存在一个最优跳数，可在隐私增益与通信开销之间实现平衡，测试准确率在中等跳数时达到峰值，反映出负载减少与传输尝试次数之间的权衡。
• 所提出的FML框架在非独立同分布（non-IID）数据和资源受限条件下实现了高模型准确率，其收敛速度和鲁棒性均优于传统联邦学习。