[论文解读] FedorAS: Federated Architecture Search under system heterogeneity

Łukasz Dudziak, Stefanos Laskaridis+1 more|arXiv (Cornell University)|Jun 22, 2022

Privacy-Preserving Technologies in Data被引用 4

一句话总结

FedorAS 提出了一种面向异构设备和非独立同分布（non-IID）数据的跨设备联邦神经架构搜索（NAS）系统，具备资源感知能力。该系统采用服务器端的超网络（supernet）与分层客户端聚类，并引入一种新颖的 OPA 聚合方法，实现在设备端高效、轻量化的神经架构搜索，同时在视觉、语音和文本任务中保持高性能，适用于系统异构环境。

ABSTRACT

Federated learning (FL) has recently gained considerable attention due to its ability to learn on decentralised data while preserving client privacy. However, it also poses additional challenges related to the heterogeneity of the participating devices, both in terms of their computational capabilities and contributed data. Meanwhile, Neural Architecture Search (NAS) has been successfully used with centralised datasets, producing state-of-the-art results in constrained or unconstrained settings. However, such centralised datasets may not be always available for training. Most recent work at the intersection of NAS and FL attempts to alleviate this issue in a cross-silo federated setting, which assumes homogeneous compute environments with datacenter-grade hardware. In this paper we explore the question of whether we can design architectures of different footprints in a cross-device federated setting, where the device landscape, availability and scale are very different. To this end, we design our system, FedorAS, to discover and train promising architectures in a resource-aware manner when dealing with devices of varying capabilities holding non-IID distributed data. We present empirical evidence of its effectiveness across different settings, spanning across three different modalities (vision, speech, text), and showcase its better performance compared to state-of-the-art federated solutions, while maintaining resource efficiency.

研究动机与目标

• 解决在设备计算能力各异且数据分布不一致的跨设备联邦学习环境中执行神经架构搜索（NAS）的挑战。
• 克服现有 NAS 方法依赖集中化、整理过的数据集且不具备隐私保护特性的局限。
• 设计一种系统，实现在设备端高效、轻量化的 NAS，同时尊重设备特定的计算和带宽约束。
• 在存在数据和系统异构性的情况下，确保在多种模态（视觉、语音、文本）任务中保持高性能。
• 通过使用共享超网络和层级感知的客户端参与机制，最小化 NAS 过程中的通信和计算开销。

提出的方法

• 根据设备的硬件能力将客户端聚类为不同计算层级，以实现资源感知的 NAS。
• 构建一个覆盖完整计算复杂度范围的单一、全面的超网络，作为搜索空间和权重共享的骨干网络。
• 根据设备能力对超网络进行随机且部分的分发，以最小化通信开销。
• 对一次采样路径（one-shot path sampling）进行改进，以支持基于 FLOPs 的感知采样，实现在设备端轻量化、高效的架构评估与训练。
• 提出 OPA（操作聚合）方法，一种基于频率的聚合策略，根据超网络中路径的操作频率对客户端更新进行加权。
• 通过在微调前提前提取高质量、预训练的子网络，将 NAS 与完整模型训练解耦。

实验结果

研究问题

• RQ1 在存在显著系统和数据异构性的跨设备联邦设置中，能否有效执行神经架构搜索？
• RQ2 如何在设备资源受限的条件下实现高效且可扩展的 NAS，同时保持模型性能？
• RQ3 何种聚合策略能够有效融合来自计算能力与数据分布各异的客户端的知识？
• RQ4 所提出的系统在准确率和通信效率方面，相较于最先进联邦 NAS 方法的性能提升程度如何？
• RQ5 是否能够从超网络中提前提取出高质量、任务特定的模型，而无需在每个设备上进行完整的微调？

主要发现

• 在低非独立同分布设置下（α=1，100 个客户端），FedorAS 仅用三轮即可实现联邦评估与集中式评估之间的 Kendall-τ 排名相关性达到 0.8。
• 在高非独立同分布条件（α=0.1）和 500 个客户端下，达到相同排名保真度所需的联邦评估轮数增加至六轮，表明数据异构性导致成本上升。
• NAS 过程中，超网络大小随时间减小，表明更长的搜索时间并不会成比例增加通信开销。
• 该系统在视觉、语音和文本任务中均保持高性能，展现出跨模态的泛化能力。
• OPA 聚合方法通过基于路径频率对更新进行加权，提升了收敛速度和性能，增强了异构环境下的模型质量。
• 从训练后的超网络中提取的预训练子网络仅需极少的额外设备端微调即可达到具有竞争力的性能，显著减少了微调轮数。