[论文解读] FL-AGCNS: Federated Learning Framework for Automatic Graph Convolutional Network Search

Chunnan Wang, Bozhou Chen+2 more|arXiv (Cornell University)|Apr 9, 2021

Privacy-Preserving Technologies in Data参考文献 19被引用 12

一句话总结

FL-AGCNS 是首个面向联邦学习环境下自动图卷积网络搜索的联邦学习框架，结合联邦进化优化与 GCN SuperNet，实现跨分布式客户端的隐私保护、高效架构搜索。通过联合优化全局与客户端特定架构，其在联邦学习设置下实现了最先进的性能，在准确率与搜索效率方面均优于现有 NAS 方法。

ABSTRACT

Recently, some Neural Architecture Search (NAS) techniques are proposed for the automatic design of Graph Convolutional Network (GCN) architectures. They bring great convenience to the use of GCN, but could hardly apply to the Federated Learning (FL) scenarios with distributed and private datasets, which limit their applications. Moreover, they need to train many candidate GCN models from scratch, which is inefficient for FL. To address these challenges, we propose FL-AGCNS, an efficient GCN NAS algorithm suitable for FL scenarios. FL-AGCNS designs a federated evolutionary optimization strategy to enable distributed agents to cooperatively design powerful GCN models while keeping personal information on local devices. Besides, it applies the GCN SuperNet and a weight sharing strategy to speed up the evaluation of GCN models. Experimental results show that FL-AGCNS can find better GCN models in short time under the FL framework, surpassing the state-of-the-arts NAS methods and GCN models.

研究动机与目标

• 为解决联邦学习场景中涉及分布式、私有图数据时缺乏兼容的神经架构搜索（NAS）技术的问题。
• 克服在联邦学习中从零开始训练大量 GCN 候选模型所导致的低效问题，避免高昂的通信与计算成本。
• 设计一种协作优化策略，在尊重客户端特定数据偏好同时提升全局模型性能。
• 通过利用具有权重共享的 GCN SuperNet，避免从零重新训练架构，从而提升联邦学习中的搜索效率。

提出的方法

• 提出一种联邦进化优化（FEO）策略，在中央控制器与各客户端分别维护独立的进化优化器，以平衡全局与本地性能。
• 引入具有参数共享的 GCN SuperNet，实现无需从零重新训练即可高效评估多种 GCN 架构。
• 采用混合优化目标，并引入可学习超参数 γ，以平衡控制器层级与客户端层级进化过程的贡献。
• 通过 Metis 算法进行子图划分，以模拟具有最少跨客户端边连接的现实联邦学习客户端数据分布。
• 采用基于策略梯度的控制器从预定义的搜索空间中采样架构，同时客户端特定优化器基于本地数据对架构进行优化。
• 执行分布式训练，每个客户端训练其本地模型并仅共享梯度或模型更新，从而保护数据隐私。

实验结果

研究问题

• RQ1 能否有效将 NAS 框架适配于具有去中心化、私有图数据的联邦学习设置？
• RQ2 在联邦学习中，如何提升 GCN 架构搜索的效率，以避免从零开始训练带来的高昂成本？
• RQ3 与仅使用集中式优化相比，客户端特定优化器在提升联邦 GCN 模型性能方面发挥何种作用？
• RQ4 在联邦学习中，集成具有权重共享的 SuperNet 如何影响搜索效率与模型性能？
• RQ5 子图划分策略的选择在多大程度上影响联邦 NAS 过程的有效性？

主要发现

• 在 Cora 数据集上，FL-AGCNS 达到 82.9% 的 FLACC，显著优于 ControllerEO（71.6%）与 ClientEO（78.6%），证明双优化器的必要性。
• 该方法在五个基准数据集上超越了最先进的 NAS 方法与现有 GCN 模型，证实其在联邦学习环境中的有效性。
• FL-AGCNS 将每轮搜索时间缩短至 0.0339 秒，得益于 SuperNet 的权重共享，展现出极高的效率。
• 消融实验表明，RandomPartition 表现较差（FLACC 为 52.6%），凸显结构化、低外部连接子图在联邦学习中的重要性。
• FL-AGCNS 发现的 GCN 架构在性能与复杂度上均优于基线模型，表明其架构质量更优。
• 控制器层级与客户端层级进化优化器的结合，显著加快收敛速度并提升泛化能力，尤其在早期世代表现更优。