[论文解读] Distributed Swarm Learning for Internet of Things at the Edge: Where Artificial Intelligence Meets Biological Intelligence

Yue Wang, Zhi Tian+4 more|arXiv (Cornell University)|Oct 29, 2022

Molecular Communication and Nanonetworks被引用 7

一句话总结

本文提出了一种新型边缘人工智能框架——分布式蜂群学习（DSL），通过将联邦学习与粒子群优化相结合，解决了大规模、低资源物联网网络中的通信瓶颈、数据异构性以及拜占庭攻击问题。通过整合生物蜂群智能与人工智能，DSL 利用空中聚合与自适应工作者选择，实现了高效、鲁棒且自适应的模型训练，在非独立同分布（non-iid）和对抗性环境中展现出优越的收敛性与抗干扰能力。

ABSTRACT

With the proliferation of versatile Internet of Things (IoT) services, smart IoT devices are increasingly deployed at the edge of wireless networks to perform collaborative machine learning tasks using locally collected data, giving rise to the edge learning paradigm. Due to device restrictions and resource constraints, edge learning among massive IoT devices faces major technical challenges caused by the communication bottleneck, data and device heterogeneity, non-convex optimization, privacy and security concerns, and dynamic environments. To overcome these challenges, this article studies a new framework of distributed swarm learning (DSL) through a holistic integration of artificial intelligence and biological swarm intelligence. Leveraging efficient and robust signal processing and communication techniques, DSL contributes to novel tools for learning and optimization tailored for real-time operations of large-scale IoT in edge wireless environments, which will benefit a wide range of edge IoT applications.

研究动机与目标

• 解决传统联邦学习在资源受限、动态且异构的边缘物联网环境中所面临的局限性。
• 克服大规模物联网系统中通信瓶颈、数据与设备异构性、非凸优化、隐私风险以及拜占庭攻击等问题。
• 将生物蜂群智能与人工智能相结合，提升分布式边缘学习中的鲁棒性、适应性与效率。
• 开发一种可扩展、实时的机器学习框架，适用于海量低成本物联网设备及其小规模、流式数据。
• 支持集中式与去中心化拓扑结构，实现动态边缘网络中的灵活部署。

提出的方法

• 将联邦学习（FL）与粒子群优化（PSO）相结合，利用本地梯度与全局最优位置更新本地模型参数。
• 采用空中聚合技术，通过无线多址接入实现节能、节省带宽的模型聚合。
• 基于小规模全局数据集的公平价值损失评估，实施自适应工作者选择，优先处理高质量更新。
• 提出一种混合本地更新规则，通过加权速度与位置更新，平衡探索（PSO）与利用（FL）。
• 设计一种去中心化的 DSL 变体，其中每个工作者仅与邻居通信，支持容错与异步运行。
• 引入非光滑总变差惩罚项，以增强对异常值与对抗性更新的鲁棒性。

实验结果

研究问题

• RQ1 群体智能在大规模、低能力物联网网络的分布式学习中，如何提升收敛性与鲁棒性？
• RQ2 空中聚合在边缘物联网中能在多大程度上减少通信开销，同时保持模型精度？
• RQ3 DSL 在非独立同分布（non-i.i.i.d.）数据分布与动态、流式数据环境中表现如何？
• RQ4 基于公平价值损失的自适应工作者选择能否提升学习效率并增强对拜占庭攻击的鲁棒性？
• RQ5 在多工作者空中聚合中，能效与鲁棒性之间存在何种权衡？

主要发现

• 在非独立同分布（non-i.i.d.）数据场景下，DSL 显著优于标准联邦学习，表现出更快的收敛速度与更高的精度，尤其在数据异构条件下。
• 在拜占庭攻击下，DSL 凭借鲁棒的聚合机制与自适应工作者选择，维持了稳定性能，模型精度下降极小。
• 空中聚合机制通过允许多个选定工作者同时传输，无需额外带宽，显著降低了通信开销。
• 将 PSO 与 FL 结合，有助于跳出局部极小值，尤其在边缘设备上深度学习中常见的非凸问题中表现更优。
• 去中心化的 DSL 变体在性能上与集中式 DSL 相当，同时在动态、不可靠网络中显著提升了容错性与可扩展性。
• 公平价值损失评估有效识别并优先处理高质量模型更新，从而整体提升了学习效率。