[論文レビュー] Divergence-Based Adaptive Aggregation for Byzantine Robust Federated Learning

Bingnan Xiao, Feng Zhu+3 more|arXiv (Cornell University)|Jan 11, 2026

Privacy-Preserving Technologies in Data被引用数 0

ひとこと要約

DRAGおよびBR-DRAGを導入し、非IIDのFLにおけるクライアントドリフトを緩和し、Byzantine攻撃に対する堅牢性を高め、非凸目的関数に対する収束保証を提供する、分岐ベースの適応的集約フレームワーク。

ABSTRACT

Inherent client drifts caused by data heterogeneity, as well as vulnerability to Byzantine attacks within the system, hinder effective model training and convergence in federated learning (FL). This paper presents two new frameworks, named DiveRgence-based Adaptive aGgregation (DRAG) and Byzantine-Resilient DRAG (BR-DRAG), to mitigate client drifts and resist attacks while expediting training. DRAG designs a reference direction and a metric named divergence of degree to quantify the deviation of local updates. Accordingly, each worker can align its local update via linear calibration without extra communication cost. BR-DRAG refines DRAG under Byzantine attacks by maintaining a vetted root dataset at the server to produce trusted reference directions. The workers' updates can be then calibrated to mitigate divergence caused by malicious attacks. We analytically prove that DRAG and BR-DRAG achieve fast convergence for non-convex models under partial worker participation, data heterogeneity, and Byzantine attacks. Experiments validate the effectiveness of DRAG and its superior performance over state-of-the-art methods in handling client drifts, and highlight the robustness of BR-DRAG in maintaining resilience against data heterogeneity and diverse Byzantine attacks.

研究の動機と目的

• federated learningにおけるデータヘテロジニティによるクライアントドリフトの対応。
• 追加通信なしでローカルアップデートを参照方向と整列させる集約フレームワークの開発。
• 根拠となるデータセットを検証済みにして参照方向を導くことにより、Byzantine攻撃に対するレジリエンスを強化。
• 部分参加とデータヘテロ性の下で非凸目的関数の収束保証を証明。
• 標準データセットでの性能評価と最先端ベースラインとの比較。

提案手法

• 参照方向 r^t と DoD（DoD: divergence of degree）を導入し、各ワーカーの更新が r^t からどの程度逸脱しているかを定量化。
• DoD に基づいてローカル更新を r^t に向かってドラッグする修正勾配 v_m^t を定義し、ドリフトを低減。
• DRAG を導入し、r^t を過去の更新の指数移動平均とすることで適応性と安定性のバランスをとる。
• BR-DRAG を拡張し、信頼できるルートデータセットを用いて信頼できる r^t を計算し、勾配を頑健に修正して Byzantine 更新に耐性を持たせる。
• 非凸設定、データヘテロギー、部分参加の下で DRAGとBR-DRAG の収束解析を提供。
• BR-DRAG が悪意ある参加者の割合に関する従来の仮定を緩和しつつ収束を維持できることを示す。

実験結果

リサーチクエスチョン

• RQ1 Divergence ベースの参照方向整列は、追加の通信オーバーなしに非IIDのフェデレーテッドラーニングにおけるクライアントドリフトを低減できるか。
• RQ2 検証済みのルートデータセットを用いてロバストな参照方向を構築し、収束を preserving しつつ Byzantine 攻撃に耐性を与えることができるか。
• RQ3 非凸目的関数と部分的なワーカ参加の下で DRAG と BR-DRAG の収束特性はどうなるか。
• RQ4 提案手法は、従来の防御手法と比較して一般的な Byzantine 攻撃に対してどの程度の性能を示すか。

主な発見

• DRAG は非IIDデータと部分参加の下でクライアントドリフトを効果的に緩和し、収束を加速する。
• BR-DRAG は信頼できる根データセットを用いて参照方向を生成し、勾配を頑健に修正することで Byzantine 攻撃に対するレジリエンスを向上させる。
• 非凸目的関数の下でデータヘテロギー and Byzantine 攻撃を考慮した収束保証を DRAG と BR-DRAG の双方に対して確立。
• BR-DRAG は悪意あるワーカーの割合に関する従来の仮定を緩和しつつ収束を維持。
• EMNIST, CIFAR-10, CIFAR-100 の実験により、ヘテロギェニティと部分参加の下で DRAG が最先端ベースラインを上回る性能を示す。
• BR-DRAG は FLTrust や幾何平均などの方法と比較して多様な Byzantine 攻撃に対して頑健性を示す。