[논문 리뷰] Divergence-Based Adaptive Aggregation for Byzantine Robust Federated Learning

Bingnan Xiao, Feng Zhu외 3명|arXiv (Cornell University)|2026. 01. 11.

Privacy-Preserving Technologies in Data인용 수 0

한 줄 요약

DRAG 및 BR-DRAG를 도입하여 divergence 기반의 집계 프레임워크로 비 IID FL에서 클라이언트 드리프트를 완화하고 Byzantine 공격에 대한 강인성을 강화하며, 비볼록 목적함수에 대한 수렴 보장을 제공한다.

ABSTRACT

Inherent client drifts caused by data heterogeneity, as well as vulnerability to Byzantine attacks within the system, hinder effective model training and convergence in federated learning (FL). This paper presents two new frameworks, named DiveRgence-based Adaptive aGgregation (DRAG) and Byzantine-Resilient DRAG (BR-DRAG), to mitigate client drifts and resist attacks while expediting training. DRAG designs a reference direction and a metric named divergence of degree to quantify the deviation of local updates. Accordingly, each worker can align its local update via linear calibration without extra communication cost. BR-DRAG refines DRAG under Byzantine attacks by maintaining a vetted root dataset at the server to produce trusted reference directions. The workers' updates can be then calibrated to mitigate divergence caused by malicious attacks. We analytically prove that DRAG and BR-DRAG achieve fast convergence for non-convex models under partial worker participation, data heterogeneity, and Byzantine attacks. Experiments validate the effectiveness of DRAG and its superior performance over state-of-the-art methods in handling client drifts, and highlight the robustness of BR-DRAG in maintaining resilience against data heterogeneity and diverse Byzantine attacks.

연구 동기 및 목표

• Federated learning에서 데이터 이질성으로 인한 클라이언트 드리프트를 다룬다.
• 추가 통신 없이 로컬 업데이트를 참조 방향과 정렬시키는 집계 프레임워크를 개발한다.
• 참조 방향을 안내하기 위해 vetted root 데이터세트를 사용하여 Byzantine 공격에 대한 탄력성을 높인다.
• 부분 참여와 이질성 하에서 비볼록 목적함수에 대한 수렴 보장을 증명한다.
• 표준 데이터셋에서의 성능을 평가하고 최첨단 기준선과 비교한다.

제안 방법

• 참조 방향 r^t와 각 워커의 업데이트가 r^t에서 벗어난 정도를 정량화하는 DoD(divergence of degree)를 제안한다.
• DoD에 기반하여 로컬 업데이트를 r^t 방향으로 끌어당기는 수정된 기울기 v_m^t를 정의하여 drift를 감소시킨다.
• DRAG를 도입하여 r^t가 과거 업데이트의 지수적 이동 평균이 되도록 하여 적응성과 안정성의 균형을 맞춘다.
• 신뢰할 수 있는 root 데이터세트를 사용하여 신뢰할 수한 r^t를 계산하고, Byzantine 업데이트에 대항하도록 기울기를 로 robust하게 수정하는 BR-DRAG로 확장한다.
• 데이터 이질성과 부분 참여 환경에서 DRAG와 BR-DRAG의 비볼록 설정에 대한 수렴 분석을 제공한다.
• BR-DRAG가 악의적 비율에 대한 가정이 완화된 상태에서 Byzantine 공격에 대해 견딜 수 있음을 보여준다.

실험 결과

연구 질문

• RQ1 발산 기반의 참조 방향 정렬이 추가 통신 없이 비 IID 연합학습에서 클라이언트 드리프트를 줄일 수 있는가?
• RQ2 검증된 root 데이터세트를 사용하여 수렴을 보존하면서 Byzantine 공격에 대항하는 강력한 참조 방향을 구성할 수 있는가?
• RQ3 비볼록 목적함수와 부분 워커 참여 하에서 DRAG와 BR-DRAG의 수렴 특성은 어떠한가?
• RQ4 제안된 방법들이 일반적인 Byzantine 공격에 대해 기존 방어책과 비교하여 어떤 성능을 보이는가?

주요 결과

• DRAG는 비 IID 데이터와 부분 참여 하에서 클라이언트 드리프트를 효과적으로 완화하고 수렴을 가속한다.
• BR-DRAG는 신뢰할 수 있는 root 데이터세트를 사용하여 참조 방향을 생성하고 기울기를 로버스트하게 수정함으로써 Byzantine 공격에 대한 탄력성을 개선한다.
• 데이터 이질성과 Byzantine 공격 하에서 비볼록 목적함수에 대한 수렴 보장이 DRAG와 BR-DRAG 모두에 대해 확립된다.
• BR-DRAG는 악의적 워커 비율에 대한 전통적 가정을 완화하면서도 수렴을 유지한다.
• EMNIST, CIFAR-10, CIFAR-100에 대한 실험은 이질성과 부분 참여 하에서 DRAG가 최첨단 기준선보다 우수한 성능을 보임을 시사한다.
• BR-DRAG는 FLTrust와 기하중앙값과 같은 방법에 비해 다양한 Byzantine 공격에 대해 견고성을 보여준다.