[论文解读] TinyFedTL: Federated Transfer Learning on Tiny Devices

Kavya Kopparapu, Eric W. Lin|arXiv (Cornell University)|Oct 3, 2021

Privacy-Preserving Technologies in Data参考文献 10被引用 13

一句话总结

TinyFedTL 提出了一种面向资源受限微控制器的联邦迁移学习框架，首次实现在不增加内存使用量的前提下，实现隐私保护的设备端模型训练。该方法通过使用预训练的卷积神经网络（CNN）特征，并仅在设备端微调最后的全连接层，实现了在 CIFAR-10 上的有效性能，且通信开销极低。

ABSTRACT

TinyML has rose to popularity in an era where data is everywhere. However, the data that is in most demand is subject to strict privacy and security guarantees. In addition, the deployment of TinyML hardware in the real world has significant memory and communication constraints that traditional ML fails to address. In light of these challenges, we present TinyFedTL, the first implementation of federated transfer learning on a resource-constrained microcontroller.

研究动机与目标

• 应对边缘设备中因数据无法共享至中心服务器而产生的隐私保护机器学习日益增长的需求。
• 通过在设备端实现联邦学习且无需外部存储或频繁与服务器通信，克服 TinyML 中的内存与通信限制。
• 开发一种适用于微控制器的迁移学习方法，无需预训练的全连接层，从而支持针对新分类任务的重新训练。
• 证明在超低资源硬件（如 Arduino Nano 33 BLE Sense）上实现联邦学习的可行性。
• 识别在微控制器上部署联邦学习的关键挑战，并提出可扩展性与高效性解决方案。

提出的方法

• 从预训练的卷积神经网络中移除最后的全连接（密集）层，将网络用作固定的特征提取器，仅保留特征向量输出。
• 使用现成的 ImageNet 或 Visual Wake Words 预训练权重生成有意义的特征，无需重新训练特征提取器。
• 仅在设备端使用本地数据微调最后的全连接层，同时保持特征提取器权重冻结。
• 通过串行通信在微控制器与模拟全局服务器之间仅交换模型权重（而非原始数据），实现联邦平均。
• 通过从零开始手写稀疏模型实现，不依赖外部库，从而降低内存占用与延迟。
• 将模型权重编码为 32 位数据包，并通过串行端口传输，最大限度减少对高级框架的依赖。

实验结果

研究问题

• RQ1 在内存与处理能力有限的微控制器上，能否有效实现联邦迁移学习？
• RQ2 在保持特征提取器固定的同时，对分类头进行设备端微调，其性能是否可与集中式训练相媲美？
• RQ3 随着设备端训练样本数量的增加，内存使用量是否能保持恒定，而无需依赖外部存储？
• RQ4 在微控制器上的联邦学习设置中，通信成本如何变化？有哪些优化手段可降低延迟？
• RQ5 是否可能在边缘设备的迁移学习中消除对预训练全连接层的依赖，从而实现跨不同分类任务的可重用性？

主要发现

• TinyFedTL 已成功在 Arduino Nano 33 BLE Sense 上部署联邦迁移学习，实现了微控制器上的首次此类实现。
• 无论训练样本数量如何，内存占用保持恒定，因为仅存储模型权重，而非原始数据或嵌入向量。
• 设备端训练耗时仅 214ms（20 个本地周期），每次推理周期的图像采集与推理需 8–10 秒。
• 由于单向传输数据包超过 6000 字节，设备与服务器之间的权重传输耗时超过 30 秒，凸显通信是主要瓶颈。
• 该方法实现了与标准训练技术相当的性能，验证了在不共享数据的前提下联邦平均的有效性。
• 该框架支持针对不同分类任务（如猫 vs. 非猫）的重新训练，且无需依赖预训练的全连接层，显著提升了灵活性。