[论文解读] FedAIoT: A Federated Learning Benchmark for Artificial Intelligence of Things

Samiul Alam, Tuo Zhang+9 more|arXiv (Cornell University)|Sep 29, 2023

Privacy-Preserving Technologies in Data被引用 7

一句话总结

tldr: 引入 FedAIoT，一个面向 AIoT 的联邦学习基准，包含八个来自物联网的数据集和一个端到端框架，并分析数据异质性、FL 优化器、客户端抽样、标签噪声与量化。

ABSTRACT

There is a significant relevance of federated learning (FL) in the realm of Artificial Intelligence of Things (AIoT). However, most existing FL works do not use datasets collected from authentic IoT devices and thus do not capture unique modalities and inherent challenges of IoT data. To fill this critical gap, in this work, we introduce FedAIoT, an FL benchmark for AIoT. FedAIoT includes eight datasets collected from a wide range of IoT devices. These datasets cover unique IoT modalities and target representative applications of AIoT. FedAIoT also includes a unified end-to-end FL framework for AIoT that simplifies benchmarking the performance of the datasets. Our benchmark results shed light on the opportunities and challenges of FL for AIoT. We hope FedAIoT could serve as an invaluable resource to foster advancements in the important field of FL for AIoT. The repository of FedAIoT is maintained at https://github.com/AIoT-MLSys-Lab/FedAIoT.

研究动机与目标

• 提供覆盖多模态与应用的八个真实物联网数据集，用于 AIoT 的联邦学习。
• 提供一个统一的端到端 FL 框架，涵盖非 IID 数据分区、预处理、IoT 友好模型、超参数和 IoT 因子仿真。
• 在不同非IID程度、优化器和客户端抽样比下对数据集进行 FL 性能基准，揭示机会与挑战。
• 研究对错误标注的鲁棒性以及在 IoT 设备上使用量化精度（FP32 vs FP16）训练的影响。

提出的方法

• 整理八个物联网来源的数据集，模态包括加速度计、无线信号、无人机影像、音频和智能家居传感器。
• 提出三种针对分类、回归和检测任务的非 IID 数据划分方案。
• 设计适合资源受限设备的 AIoT 友好模型（如 LSTM、ResNet18、YOLOv8n、BiLSTM、MLP）。
• 整合覆盖数据预处理、超参数和 IoT 因子仿真器的端到端 FL 框架。
• 融入接近现实的 IoT 因子，如通过集中训练的混淆矩阵对错误标签进行仿真，并支持 FP16 量化训练以提高内存效率。

Figure 1 : Overview of FedAIoT .

实验结果

研究问题

• RQ1 数据异质性（非 IID 性）在多样化 AIoT 任务和模态下如何影响 FL 性能？
• RQ2 在不同异质性下，标准 FL 优化器（FedAvg、FedOPT）表现如何，客户端抽样比率如何影响准确率与收敛性？
• RQ3 错误标签和量化训练对 AIoT 数据集的 FL 性能有何影响？
• RQ4 哪些 IoT 模态和任务最受益于量化和鲁棒训练策略？

主要发现

• 在低异质性下，FedAvg 通常具有更稳定的性能，且往往接近集中式结果；而在高异质性下，FedOPT 在若干数据集上可能发散。
• 较高的客户端抽样比通常提高最终准确率，但不总是加速收敛，且对模态有依赖性。
• 错误标签在若干数据集上显著降低性能，尤其是 UT-HAR 与 EPIC-SOUNDS，表明需要鲁棒于标签噪声的 FL 方法。
• 量化训练（FP16）显著降低内存使用（60% 以上），对准确率的影响在各数据集上表现不同；有些数据集保持或超过 FP32 的性能，另一些则有所下降。
• 基准测试强调数据集与模态对异质性、噪声和压缩的鲁棒性差异，突显在 AIoT 领域需要量身定制的 FL 策略。

Figure 2 : Architecture of the end-to-end FL framework for AIoT incorporated in FedAIoT .