[论文解读] Real-time Federated Evolutionary Neural Architecture Search

Hangyu Zhu, Yaochu Jin|arXiv (Cornell University)|Mar 4, 2020

Privacy-Preserving Technologies in Data参考文献 53被引用 16

一句话总结

本文提出了一种实时联邦进化神经架构搜索（NAS）框架，通过双采样技术降低通信和计算成本，实现在联邦学习中高效、稳定且具有竞争力的模型搜索。该方法在单轮通信中从主模型中采样子模型，并在随机选择的客户端上进行训练，无需重新初始化，相比离线方法实现了更快的收敛速度和更低的资源消耗。

ABSTRACT

Federated learning is a distributed machine learning approach to privacy preservation and two major technical challenges prevent a wider application of federated learning. One is that federated learning raises high demands on communication, since a large number of model parameters must be transmitted between the server and the clients. The other challenge is that training large machine learning models such as deep neural networks in federated learning requires a large amount of computational resources, which may be unrealistic for edge devices such as mobile phones. The problem becomes worse when deep neural architecture search is to be carried out in federated learning. To address the above challenges, we propose an evolutionary approach to real-time federated neural architecture search that not only optimize the model performance but also reduces the local payload. During the search, a double-sampling technique is introduced, in which for each individual, a randomly sampled sub-model of a master model is transmitted to a number of randomly sampled clients for training without reinitialization. This way, we effectively reduce computational and communication costs required for evolutionary optimization and avoid big performance fluctuations of the local models, making the proposed framework well suited for real-time federated neural architecture search.

研究动机与目标

• 为解决在联邦学习中执行神经架构搜索（NAS）时通信和计算成本过高的问题。
• 克服离线进化NAS在联邦设置下的局限性，即每代均需重新初始化和完整微调，导致不稳定和低效。
• 通过将进化优化与轻量级、增量式模型更新相结合，实现在联邦环境中实时、即插即用的NAS。
• 在优化过程中保持稳定性能，并在模型准确率与FLOPs（计算复杂度）之间实现帕累托最优权衡。
• 开发一种可扩展且实用的框架，适用于在线推荐系统等实际应用场景，其中低延迟和隐私保护至关重要。

提出的方法

• 引入双采样技术：从主模型中随机采样一个子模型，并将其传输至随机选择的客户端子集进行训练，无需重新初始化。
• 主模型在种群中所有个体间共享，从而减少冗余训练和通信开销。
• 客户端使用自有数据在本地训练采样的子模型，更新后的子模型在单轮通信中聚合以更新主模型。
• 进化算法在模型准确率与FLOPs之间执行多目标优化，保持一组多样化的帕累托最优架构。
• 该框架避免对后代模型重新初始化，保留训练进度，防止离线NAS中常见的性能下降问题。
• 每代采样的客户端数量与种群规模和客户端可用性成正比，确保负载均衡和高效的资源利用。

实验结果

研究问题

• RQ1 能否设计一种实时联邦NAS框架，在保持模型性能的同时降低通信和计算成本？
• RQ2 双采样技术如何影响联邦设置下进化NAS的稳定性和收敛性？
• RQ3 与标准模型（如ResNet18）相比，所提方法能否在显著降低FLOPs的前提下实现具有竞争力的准确率？
• RQ4 在训练效率和最终模型性能方面，实时进化NAS与离线联邦NAS相比有何差异？
• RQ5 该框架能否有效处理非独立同分布（non-IID）数据分布，并在多样化的客户端数据上保持稳定性能？

主要发现

• 所提出的实时进化NAS在约200轮通信后表现出稳定性能，优于ResNet18。
• 通过该方法找到的最佳模型测试准确率超过75%，优于离线进化NAS（在相同设置下未能突破75%准确率）。
• 实时方法找到的帕累托最优解在FLOPs上显著低于ResNet18，表明计算复杂度更低。
• 与离线方法相比，该实时NAS框架每代速度快约五倍，500代的训练时间约为每GPU 16.1小时。
• 该框架成功维持了模型稳定性，避免了因重新初始化导致的性能下降，这是离线NAS中的主要问题。
• 该方法在准确率-FLOPs权衡曲线上生成了分布均匀的帕累托最优解，可根据客户端约束灵活部署。