[论文解读] Divergence-Based Adaptive Aggregation for Byzantine Robust Federated Learning

Bingnan Xiao, Feng Zhu+3 more|arXiv (Cornell University)|Jan 11, 2026

Privacy-Preserving Technologies in Data被引用 0

一句话总结

引入 DRAG 和 BR-DRAG，基于发散度的聚合框架以缓解非 IID FL 中的客户端漂移，并增强对拜占庭攻击的鲁棒性，同时对非凸目标具有收敛性保证。

ABSTRACT

Inherent client drifts caused by data heterogeneity, as well as vulnerability to Byzantine attacks within the system, hinder effective model training and convergence in federated learning (FL). This paper presents two new frameworks, named DiveRgence-based Adaptive aGgregation (DRAG) and Byzantine-Resilient DRAG (BR-DRAG), to mitigate client drifts and resist attacks while expediting training. DRAG designs a reference direction and a metric named divergence of degree to quantify the deviation of local updates. Accordingly, each worker can align its local update via linear calibration without extra communication cost. BR-DRAG refines DRAG under Byzantine attacks by maintaining a vetted root dataset at the server to produce trusted reference directions. The workers' updates can be then calibrated to mitigate divergence caused by malicious attacks. We analytically prove that DRAG and BR-DRAG achieve fast convergence for non-convex models under partial worker participation, data heterogeneity, and Byzantine attacks. Experiments validate the effectiveness of DRAG and its superior performance over state-of-the-art methods in handling client drifts, and highlight the robustness of BR-DRAG in maintaining resilience against data heterogeneity and diverse Byzantine attacks.

研究动机与目标

• 解决 Federated Learning 中由于数据异质性导致的客户端漂移。
• 开发一种聚合框架，在不增加额外通信的情况下使本地更新与参考方向对齐。
• 通过使用经过筛选的根数据集来引导参考方向，从而增强对拜占庭攻击的鲁棒性。
• 在部分参与和数据异质性条件下证明对非凸目标的收敛性保证。
• 评估在标准数据集上的性能并与最先进基线方法进行比较。

提出的方法

• 提出参考方向 r^t 以及 DoD（DoD 的度量）以量化每个工作节点对 r^t 的更新偏离程度。
• 定义一个修正梯度 v_m^t，基于 DoD 将本地更新拖曳向 r^t，从而降低漂移。
• 引入 DRAG，其中 r^t 是 past 更新的指数滑动平均，以在适应性和稳定性之间取得平衡。
• 扩展到 BR-DRAG，使用可信根数据集来计算可信的 r^t，并鲁棒地修改梯度以抵抗拜占庭更新。
• 在具有数据异质性和部分参与的非凸设定下给出 DRAG 和 BR-DRAG 的收敛性分析。
• 证明 BR-DRAG 在放宽对恶意节点比例的前提下也能容忍拜占庭攻击并保持收敛性。

实验结果

研究问题

• RQ1 在不增加额外通信开销的情况下，基于发散度的参考方向对齐是否可以减少非 IID 联邦学习中的客户端漂移？
• RQ2 如何利用经过筛选的根数据集构建鲁棒的参考方向，以在保持收敛性的同时抵御拜占庭攻击？
• RQ3 在非凸目标和部分工作节点参与条件下，DRAG 和 BR-DRAG 的收敛性质是什么？
• RQ4 与现有防御方法相比，提出的方法在面对常见拜占庭攻击时的表现如何？

主要发现

• DRAG 有效缓解客户端漂移，在非 IID 数据和部分参与条件下加速收敛。
• BR-DRAG 通过使用可信根数据集生成参考方向并鲁棒地修改梯度，提升对拜占庭攻击的鲁棒性。
• 在数据异质性和拜占庭攻击条件下，针对 DRAG 和 BR-DRAG 的非凸目标具备收敛性保证。
• BR-DRAG 放宽了对恶意工作节点比例的传统假设，同时保持收敛性。
• 在 EMNIST、CIFAR-10 和 CIFAR-100 上的实验表明，在异质性和部分参与条件下，DRAG 相较于最先进的基线方法具有更优性能。
• BR-DRAG 相较于如 FLTrust 和几何中位数等方法，在对抗多样化拜占庭攻击方面表现出鲁棒性。