[论文解读] Fed-ADE: Adaptive Learning Rate for Federated Post-adaptation under Distribution Shift

Heewon Park, Mugon Joe+3 more|arXiv (Cornell University)|Mar 1, 2026

Data Stream Mining Techniques被引用 0

一句话总结

Fed-ADE 提出了一种在分布转移下通过结合不确定性与表征动态信号实现对每个客户端的自适应学习率的无监督联邦后适应框架，具备理论保证并在实验中优于基线。

ABSTRACT

Federated learning (FL) in post-deployment settings must adapt to non-stationary data streams across heterogeneous clients without access to ground-truth labels. A major challenge is learning rate selection under client-specific, time-varying distribution shifts, where fixed learning rates often lead to underfitting or divergence. We propose Fed-ADE (Federated Adaptation with Distribution Shift Estimation), an unsupervised federated adaptation framework that leverages lightweight estimators of distribution dynamics. Specifically, Fed-ADE employs uncertainty dynamics estimation to capture changes in predictive uncertainty and representation dynamics estimation to detect covariate-level feature drift, combining them into a per-client, per-timestep adaptive learning rate. We provide theoretical analyses showing that our dynamics estimation approximates the underlying distribution shift and yields dynamic regret and convergence guarantees. Experiments on image and text benchmarks under diverse distribution shifts (label and covariate) demonstrate consistent improvements over strong baselines. These results highlight that distribution shift-aware adaptation enables effective and robust federated post-adaptation under real-world non-stationarity.

研究动机与目标

• 在非平稳、客户端特定分布转移下推动鲁棒的联邦后部部署适应，无需 ground-truth 标签。
• 提出一个轻量级、无监督的适应框架，为每个客户端、每个时间步分配自适应学习率。
• 开发两种估计器（不确定性动态和表征动态）以量化分布转移。
• 在非平稳性下提供动态后悔界和收敛性的理论保证。
• 在图像和文本基准数据上验证，在有标签与协变量转移下对基线方法显示出改进。

提出的方法

• 将每个客户端模型分成共享层 (psi_c) 与个性化层 (phi_c)，以实现部分共享和个性化。
• 使用 BBSE 构建一个无监督风险估计量，估计当前标签分布而不需要标签，并最小化该估计风险（方程式 4）。
• 通过将不确定性动态 S_unc^t（批次预测均值的余弦变化）与表征动态 S_rep^t（批次特征均值的余弦变化）结合，计算每轮、每客户端的分布转移信号 S_c^t。
• 通过上界修正学习率 eta_c^t = eta_min + (eta_max - eta_min) * S_c^t（方程式 9）。
• 本地使用对估计风险的 SGD 进行更新，先更新共享层和个性化层，然后在服务器端聚合共享层并在客户端之间刷新（方程式 6-8）。
• 给出动态后悔分析，表明界限随累计转移而扩展，并在非平稳性下达到最小-最大最优性。

Figure 1 : Overview of the Fed-ADE. Each client receives a pre-trained model, splits it into shared ( $\psi_{c}$ ) and personalized ( $\phi_{c}$ ) layers, and adapts to unlabeled, distribution-shifting data using an adaptive learning rate.

实验结果

研究问题

• RQ1 在没有标签数据的前提下，如何在非 stationary 分布下实现按客户端、按时间步的自适应学习率？
• RQ2 不确定性与表征动态信号是否能准确捕获分布转移以指导自适应学习率？
• RQ3 在有标签和协变量转移的情况下，按客户端的自适应学习率是否能在准确性和效率上优于固定学习率或非自适应的联邦方法？
• RQ4 在此无监督、感知转移的联邦学习设置中，可以建立哪些动态后悔与收敛性的理论保证？
• RQ5 所提出的估计器与自适应策略是否能在图像与文本基准的多样转移模式下普适？

主要发现

数据集	转移	FTH	ATLAS	UNIDA	UDA	Fed-POE	FedCCFA	FixLR(Low)	FixLR(Mid)	FixLR(High)	Fed-ADE
Tiny ImageNet	Lin.	78.2 ± 1.0	76.5 ± 1.3	83.8 ± 0.1	74.5 ± 0.2	87.1 ± 0.2	84.7 ± 0.8	87.5 ± 1.2	88.2 ± 1.1	86.1 ± 0.4	89.1 ± 0.1
Tiny ImageNet	Sin.	77.9 ± 0.8	76.8 ± 1.1	83.2 ± 0.5	74.5 ± 0.2	87.5 ± 0.4	84.8 ± 0.7	87.3 ± 1.4	88.0 ± 1.1	87.6 ± 0.6	88.9 ± 0.1
Tiny ImageNet	Squ.	77.2 ± 0.8	78.5 ± 1.4	83.3 ± 0.1	74.7 ± 0.3	86.4 ± 0.9	83.0 ± 0.9	87.4 ± 1.2	88.2 ± 0.7	86.4 ± 0.5	88.9 ± 0.1
Tiny ImageNet	Ber.	78.2 ± 1.1	77.6 ± 1.1	82.7 ± 0.3	73.8 ± 0.8	86.5 ± 0.7	83.8 ± 0.9	86.5 ± 1.7	87.8 ± 1.2	86.3 ± 0.6	88.7 ± 0.1
CIFAR-10	Lin.	31.4 ± 0.8	36.5 ± 4.3	23.0 ± 0.3	33.3 ± 1.4	71.3 ± 3.2	65.8 ± 0.5	70.6 ± 2.0	70.8 ± 2.1	63.8 ± 1.9	73.8 ± 0.6
CIFAR-10	Sin.	40.3 ± 0.9	43.7 ± 5.1	22.9 ± 0.3	32.0 ± 1.3	71.4 ± 2.6	65.8 ± 0.8	69.4 ± 1.5	70.5 ± 1.6	64.3 ± 2.2	73.6 ± 0.5
CIFAR-10	Squ.	31.7 ± 0.7	32.3 ± 5.0	23.1 ± 0.1	28.1 ± 1.4	70.6 ± 1.9	65.3 ± 0.3	72.8 ± 2.1	71.6 ± 2.0	70.6 ± 2.5	72.2 ± 1.6
CIFAR-10	Ber.	30.6 ± 0.9	32.7 ± 5.9	23.0 ± 0.1	28.5 ± 1.5	69.6 ± 1.5	65.4 ± 0.4	68.3 ± 1.7	71.8 ± 1.6	70.0 ± 2.2	72.9 ± 2.2
LAMA	Lin.	68.3 ± 1.2	79.5 ± 3.2	31.2 ± 0.8	72.9 ± 2.0	85.4 ± 1.3	95.6 ± 0.1	86.7 ± 1.2	95.2 ± 2.0	24.6 ± 3.3	95.8 ± 0.4
LAMA	Sin.	74.7 ± 3.1	71.8 ± 5.0	31.1 ± 0.6	70.6 ± 6.8	84.0 ± 1.6	91.6 ± 0.9	88.0 ± 0.8	94.7 ± 2.4	26.9 ± 4.1	95.8 ± 0.6
LAMA	Squ.	70.5 ± 6.5	79.8 ± 0.9	31.2 ± 0.5	74.4 ± 0.2	84.2 ± 1.0	92.0 ± 0.1	88.6 ± 0.2	95.4 ± 1.2	26.9 ± 5.3	96.4 ± 0.6
LAMA	Ber.	76.8 ± 0.2	78.0 ± 5.8	31.1 ± 0.5	70.9 ± 6.5	84.1 ± 0.6	91.1 ± 0.5	87.9 ± 0.3	94.3 ± 2.4	20.0 ± 4.7	95.9 ± 0.5

• Fed-ADE 在所有转移类型和数据集上均实现最高准确率，优于强基线。
• Fed-ADE 显著降低实际耗时，约比局部方法快 17–24 倍，且比某些联邦基线快约 2 倍。
• 在标签转移下，Fed-ADE 相对于 FixLR 与 Fed-POE 的准确率持续提升，平均提升约 1%–4%，视数据集而定。
• 在协变量转移下，Fed-ADE 相对 FixLR 与 Fed-POE 的提升约为 3% 和超过 6%（平均值）。
• 在图像基准 Tiny ImageNet 与 CIFAR-10 以及文本基准 LAMA 上，Fed-ADE 在动态、无标签设置中持续优于现有最先进基线。