[论文解读] An Efficient Industrial Federated Learning Framework for AIoT: A Face Recognition Application

Youlong Ding, Xueyang Wu+6 more|arXiv (Cornell University)|Jun 21, 2022

Privacy-Preserving Technologies in Data被引用 6

一句话总结

本文提出了一种面向AIoT的高效工业联邦学习框架，利用迁移学习和私有的投影器以加速训练并增强隐私保护。仅通过20轮通信即可实现高达63.51%的FAR@1e-4面部识别准确率，且计算与内存开销极低，适用于资源受限设备。

ABSTRACT

Recently, the artificial intelligence of things (AIoT) has been gaining increasing attention, with an intriguing vision of providing highly intelligent services through the network connection of things, leading to an advanced AI-driven ecology. However, recent regulatory restrictions on data privacy preclude uploading sensitive local data to data centers and utilizing them in a centralized approach. Directly applying federated learning algorithms in this scenario could hardly meet the industrial requirements of both efficiency and accuracy. Therefore, we propose an efficient industrial federated learning framework for AIoT in terms of a face recognition application. Specifically, we propose to utilize the concept of transfer learning to speed up federated training on devices and further present a novel design of a private projector that helps protect shared gradients without incurring additional memory consumption or computational cost. Empirical studies on a private Asian face dataset show that our approach can achieve high recognition accuracy in only 20 communication rounds, demonstrating its effectiveness in prediction and its efficiency in training.

研究动机与目标

• 为在资源受限的AIoT设备上训练高准确率且具备隐私保护的AI模型提供解决方案。
• 减少工业AIoT应用中联邦学习的通信轮数与计算负载。
• 在不增加额外内存或计算成本的前提下，保护模型梯度免受隐私攻击。
• 在与集中式训练相比性能损失极小的情况下，实现有效的联邦微调。
• 在真实世界私有亚洲人脸数据集上验证其可行性和效率。

提出的方法

• 在公开数据集上预训练一个面部表征模型，并将其作为全局模型初始化，以减少客户端的训练工作量。
• 引入一种新颖的本地投影器，混淆共享梯度，防止完整前向传播攻击，且不增加额外内存或计算开销。
• 应用迁移学习，对本地AIoT设备数据上的全局模型进行微调，以缩短收敛时间。
• 实施预热微调和批归一化层冻结，以稳定训练并提升性能。
• 采用客户端-服务器架构，服务器通过FedAvg聚合模型更新，最大限度减少通信轮数。
• 优化模型大小与计算成本，使其可部署于典型AIoT设备的片上SRAM中。

实验结果

研究问题

• RQ1 迁移学习是否能显著减少AIoT设备上联邦面部识别所需的通信轮数？
• RQ2 私有投影器是否能在不增加内存或计算成本的前提下，有效保护共享梯度免受重建攻击？
• RQ3 与集中式训练及标准联邦学习基线相比，所提出的框架在准确率与效率方面表现如何？
• RQ4 学习率预热与批归一化冻结等超参数在性能稳定性中起到何种作用？
• RQ5 该框架在资源有限的真实工业AIoT设备上可扩展到何种程度？

主要发现

• 所提框架在私有亚洲人脸数据集上实现了72.83%的FAR@1e-3与63.51%的FAR@1e-4，表现出高识别准确率，且与集中式训练相比性能损失极小。
• 仅需20轮通信即可达到高性能，显著缩短训练时间并减少带宽消耗。
• 私有投影器能有效抵抗梯度反演攻击，定性结果表明，即使使用真实投影器初始化，恢复的图像仍保持模糊且难以辨认。
• 模型仅使用1.20M参数与35MB内存，可部署于片上SRAM而非片外DRAM，显著提升效率。
• 理论FLOPs与MAdd每轮均低于0.5G，证实其计算成本极低，适合边缘设备。
• 消融实验表明，预训练与冻结批归一化至关重要；若缺失，性能将降至随机水平（0.00%准确率）