[论文解读] From Federated Learning to Federated Neural Architecture Search: A Survey

Hangyu Zhu, Haoyu Zhang+1 more|arXiv (Cornell University)|Sep 12, 2020

Privacy-Preserving Technologies in Data参考文献 133被引用 10

一句话总结

本综述提出了联邦神经架构搜索（Federated NAS）的全面概述，将联邦学习的隐私保护框架与NAS的自动化架构搜索相结合。它将联邦NAS分类为在线/离线以及单目标/多目标方法，突出显示了在通信效率、模型性能和隐私方面的挑战，同时识别出在去中心化系统中实现安全、实时神经架构优化的关键研究空白与未来方向。

ABSTRACT

Federated learning is a recently proposed distributed machine learning paradigm for privacy preservation, which has found a wide range of applications where data privacy is of primary concern. Meanwhile, neural architecture search has become very popular in deep learning for automatically tuning the architecture and hyperparameters of deep neural networks. While both federated learning and neural architecture search are faced with many open challenges, searching for optimized neural architectures in the federated learning framework is particularly demanding. This survey paper starts with a brief introduction to federated learning, including both horizontal, vertical, and hybrid federated learning. Then, neural architecture search approaches based on reinforcement learning, evolutionary algorithms and gradient-based are presented. This is followed by a description of federated neural architecture search that has recently been proposed, which is categorized into online and offline implementations, and single- and multi-objective search approaches. Finally, remaining open research questions are outlined and promising research topics are suggested.

研究动机与目标

• 提供对联邦学习与神经架构搜索（NAS）的系统性综述，重点关注其在联邦NAS中的融合。
• 识别并分类在联邦学习环境中执行NAS时面临的关键挑战，包括隐私、通信与计算约束。
• 区分离线与在线联邦NAS，强调在线方法因实时性能与资源限制而带来的更高要求。
• 分析联邦环境中单目标与多目标NAS策略，尤其关注准确率、通信成本、模型复杂度与设备内存之间的权衡。
• 概述开放的研究问题，并提出稳健、高效且隐私保护的联邦NAS系统有前景的未来方向。

提出的方法

• 根据数据分布与客户端特征，将联邦学习分类为水平、垂直与混合类型。
• 回顾三种主要NAS范式：强化学习、进化算法与基于梯度的搜索，强调其在联邦环境中的适用性。
• 将联邦NAS分类为离线与在线优化，其中在线方法在搜索过程中需满足实时性能与低延迟要求。
• 区分联邦系统中单目标与多目标NAS，分析在准确率、通信成本、模型大小与内存使用之间的权衡。
• 考察隐私保护技术，如同态加密与安全多方计算（SMC），突出其计算与通信开销。
• 讨论联邦NAS中的对抗性威胁，包括模型反演与后门攻击，并评估梯度压缩、差分隐私与拜占庭鲁棒聚合等防御机制。

实验结果

研究问题

• RQ1 如何有效将神经架构搜索适配到联邦学习的去中心化与隐私保护约束中？
• RQ2 在性能、通信与资源使用方面，离线与在线联邦NAS的关键差异与权衡是什么？
• RQ3 联邦NAS中的多目标优化策略如何在准确率、通信成本与模型复杂度等相互竞争的目标之间取得平衡？
• RQ4 联邦NAS中的主要隐私与安全威胁是什么？如何利用密码技术加以缓解？
• RQ5 在开发适用于现实世界部署的实际、实时联邦NAS系统方面，最紧迫的开放挑战是什么？

主要发现

• 离线进化NAS方法通常因高通信成本以及搜索与权重训练阶段分离而不适用于实际应用。
• 在线联邦NAS更具挑战性，因其在搜索期间需保证可接受的模型性能，并对边缘设备施加更严格的计算约束。
• RT-FedEvoNAS为在线联邦NAS提供了可行解决方案，但受限于高度受限的搜索空间。
• 同态加密在联邦NAS中计算开销巨大，原因在于需对数百万个参数执行大数编码与模运算。
• 通过SMC进行密钥共享显著增加通信成本，因为客户端必须频繁交换密钥片段以部分解密梯度。
• 即使采用隐私保护技术，联邦学习仍易受白盒攻击影响，例如通过梯度实现模型反演与数据重建。