[论文解读] Aggregate or Not? Exploring Where to Privatize in DNN Based Federated Learning Under Different Non-IID Scenes

Xinchun Li, Le Gan+4 more|arXiv (Cornell University)|Jul 26, 2021

Privacy-Preserving Technologies in Data参考文献 65被引用 8

一句话总结

本文研究在非独立同分布（non-iID）数据分布下，基于深度神经网络（DNN）的联邦学习中应将模型私有化应用于何处，提出基础层私有化即使在标签偏移场景下也能提升性能。本文引入自动方法——交叉连接（cross-stitch）、软注意力（soft attention）和硬选择（hard selection），以学习最优私有化策略，研究发现双分支（AaB）和共享分类器（ABb）结构在多种非iID设置下均优于单分支方法。

ABSTRACT

Although federated learning (FL) has recently been proposed for efficient distributed training and data privacy protection, it still encounters many obstacles. One of these is the naturally existing statistical heterogeneity among clients, making local data distributions non independently and identically distributed (i.e., non-iid), which poses challenges for model aggregation and personalization. For FL with a deep neural network (DNN), privatizing some layers is a simple yet effective solution for non-iid problems. However, which layers should we privatize to facilitate the learning process? Do different categories of non-iid scenes have preferred privatization ways? Can we automatically learn the most appropriate privatization way during FL? In this paper, we answer these questions via abundant experimental studies on several FL benchmarks. First, we present the detailed statistics of these benchmarks and categorize them into covariate and label shift non-iid scenes. Then, we investigate both coarse-grained and fine-grained network splits and explore whether the preferred privatization ways have any potential relations to the specific category of a non-iid scene. Our findings are exciting, e.g., privatizing the base layers could boost the performances even in label shift non-iid scenes, which are inconsistent with some natural conjectures. We also find that none of these privatization ways could improve the performances on the Shakespeare benchmark, and we guess that Shakespeare may not be a seriously non-iid scene. Finally, we propose several approaches to automatically learn where to aggregate via cross-stitch, soft attention, and hard selection. We advocate the proposed methods could serve as a preliminary try to explore where to privatize for a novel non-iid scene.

研究动机与目标

• 探究不同非iID数据分布类型（协变量偏移与标签偏移）是否在联邦学习中偏好不同的私有化策略。
• 评估粗粒度与细粒度的网络分割，以确定模型聚合与个性化时最优的私有化位置。
• 开发自动方法，在联邦学习训练过程中学习私有化位置，减少手动超参数调优。
• 评估现有基准（如Shakespeare）是否真正代表严重的非iID挑战。
• 为新型非iID联邦学习场景提供系统化的私有化策略选择框架。

提出的方法

• 基于数据分布统计，将四个联邦学习基准分为协变量偏移与标签偏移两类非iID场景。
• 设计粗粒度（如AaB、ABb）与细粒度（层级级别）的私有化分割，以比较不同架构下的性能表现。
• 提出三种自动学习机制：AutoCS（交叉连接）、AutoSA（软注意力）与AutoHS（硬选择），以学习最优聚合权重。
• 采用插值技巧，利用共享架构（AaBb）在无需完整微调的情况下高效搜索最优私有化模式。
• 使用软注意力与Gumbel-Softmax采样，实现在训练过程中可微、可学习的私有化路由。
• 并行训练全局模型与个性化模型，通过学习到的系数动态平衡共享与私有组件。

实验结果

研究问题

• RQ1 非iID分布类型（协变量偏移 vs. 标签偏移）是否会影响DNN联邦学习中私有化的最优层？
• RQ2 在标签偏移的非iID场景下，是否可通过私有化早期（基础）层来提升性能，与直觉预期相反？
• RQ3 是否存在一种一致的私有化策略，在包括Shakespeare在内的多种非iID基准中均表现良好？
• RQ4 自动学习机制（如注意力、硬选择）是否能有效发现最优私有化模式，而无需先验知识？
• RQ5 所提出的插值技巧是否能实现高效且准确地识别新非iID场景下的最优私有化架构？

主要发现

• 即使在标签偏移的非iID场景下，对基础层（如早期卷积模块）进行私有化也能显著提升性能，挑战了‘仅标签相关层受益于私有化’的假设。
• Shakespeare基准在任何私有化策略下均未表现出性能提升，表明其可能不代表严重的非iID场景。
• 双分支私有化（如AaB）在所有基准中均持续优于单分支方法，表明共享特征提取与私有头结构具有显著优势。
• 所提出的自动方法（AutoCS、AutoSA、AutoHS）性能与最佳手工设计的私有化策略相当，验证了其在学习最优配置方面的有效性。
• 在学习到的架构中（如注意力权重），共享组件通常被优先选择，且AutoHS与AutoSA在大多数情况下更倾向于共享特征。
• 利用AaBb架构的插值技巧可高效搜索最优私有化模式，相比穷举搜索显著降低了训练成本。