[논문 리뷰] Byzantine-Robust Federated Machine Learning through Adaptive Model Averaging

Luis Muñoz-González, Kenneth T. Co외 1명|arXiv (Cornell University)|2019. 09. 11.

Privacy-Preserving Technologies in Data참고 문헌 25인용 수 161

한 줄 요약

적응형 연합 평균(AFA)은 각 클라이언트의 업데이트 품질을 숨겨진 마르코프 모델(Hidden Markov Model)과 코사인 유사도 기반 필터링으로 추정하여 연합 학습에서 클라이언트 업데이트를 견고하게 집계하고, 악의적 클라이언트를 차단하여 견고성과 효율성을 향상시킨다.

ABSTRACT

Federated learning enables training collaborative machine learning models at scale with many participants whilst preserving the privacy of their datasets. Standard federated learning techniques are vulnerable to Byzantine failures, biased local datasets, and poisoning attacks. In this paper we introduce Adaptive Federated Averaging, a novel algorithm for robust federated learning that is designed to detect failures, attacks, and bad updates provided by participants in a collaborative model. We propose a Hidden Markov Model to model and learn the quality of model updates provided by each participant during training. In contrast to existing robust federated learning schemes, we propose a robust aggregation rule that detects and discards bad or malicious local model updates at each training iteration. This includes a mechanism that blocks unwanted participants, which also increases the computational and communication efficiency. Our experimental evaluation on 4 real datasets show that our algorithm is significantly more robust to faulty, noisy and malicious participants, whilst being computationally more efficient than other state-of-the-art robust federated learning methods such as Multi-KRUM and coordinate-wise median.

연구 동기 및 목표

• Byzantine 결함 및 데이터 이질성 하에서도 효과적으로 작동하는 로버스트한 연합 학습을 동기화한다.
• 클라이언트 업데이트의 품질 추정 및 데이터 기여도를 반영하는 가중치 방식인 Adaptive Federated Averaging (AFA)를 제안한다.
• 어떤 클라이언트가 좋은 업데이트를 제공하는지에 대한 확률을 학습하고 업데이트하는 Bayesian/Hidden Markov Model 프레임워크를 개발한다.
• 악의적 업데이트를 탐지하고 폐기하며 offending 클라이언트를 차단할 수 있는 강건한 집계 규칙을 도입한다.
• 다양한 공격 시나리오에서 여러 실제 데이터 세트에 대해 최첨단 방법들과 비교하여 AFA를 평가한다.

제안 방법

• 데이터 기여도와 학습된 양호 업데이트의 확률(p_k)을 모두 포함하는 가중치 체계를 사용하여 업데이트를 집계한다.
• 선택된 양호 클라이언트들의 가중합으로 w_{t+1}를 계산하고, N = sum(p_k n_k)으로 정규화한다.
• 각 클라이언트에 대해 w_{t+1}와 w_{t+1}^k 사이의 유사도 s_k를 계산한다(예: 코사인 유사도).
• 샘플 통계치(평균, 중앙값, 표준편차)를 사용하여 s_k를 양호/나쁨으로 분류하고, 임계값은 xi로 제어되며 반복적으로 업데이트된다(xi 증가).
• 의심스러운 클라이언트를 차단하고 양호한 집합 G만으로 재집계하기 위해 여러 차례의 반복(가능한 경우 다수의 패스)을 수행한다.
• g_t^k가 관측되지 않는 품질 상태이고 o_t^k가 집계 규칙의 관측 결과인 Hidden Markov Model로 클라이언트 품질을 모델링한다; 사후확률을 업데이트하고 p_{k,t} = E[G_t^k | O_{1:t}^k]를 설정한다.
• Pr(G_t^k | O_{1:t}^k) ≤ 0.5일 때 Beta- Bernoulli 업데이트(alpha_t^k, beta_t^k) 및 임계값 delta를 사용하여 클라이언트를 차단한다.
• MKRUM 및 일부 중앙값 기반 방법보다 확장성이 더 큰 코사인 유사도 기반 집계의 경우 복잡도: O(K_t d)이며, MKRUM의 O(K_t^2 d)보다 낮고 더 확장 가능하다.
• MNIST, FMNIST, Spambase, CIFAR-10에서 정상/ Byzantine/ 라벨 반전/ 노이즈 클라이언트 시나리오로 실험하고 FA, MKRUM, COMED와 비교한다.

실험 결과

연구 질문

• RQ1 연합 학습에서 일부 클라이언트가 잘못되었거나 시끄럽거나 악의적 업데이트를 제공할 때 로버스트함을 어떻게 유지할 수 있는가?
• RQ2 데이터 기여도와 업데이트 품질 모두를 고려하는 적응 가중 방식이 지나친 계산이나 통신 없이 로버스트함을 향상시킬 수 있는가?
• RQ3 Hidden Markov Model 기반의 클라이언트 업데이트 품질 추정이 실시간으로 악의적 클라이언트를 효과적으로 식별하고 차단하는가?
• RQ4 AFA는 다양한 공격 시나리오에서 정확도, 수렴 속도, 효율성 면에서 기존의 강건 집계 규칙(MKRUM, COMED)과 얼마나 비교되는가?

주요 결과

• AFA는 Byzantine, 라벨 반전 및 노이즈가 있는 상황에서 네 가지 실제 데이터 세트에서 견고한 성능을 보이며 종종 MKRUM 및 COMED보다 우수하다.
• AFA는 악조건에서 더 빠르게 수렴하고 테스트 오차를 더 낮은 상태로 유지하는 동시에 MKRUM 및 COMED에 비해 계산 부담이 더 낮거나 비슷하다.
• 베이지안 모델은 상대적으로 짧은 반복(대개 5–10회 정도) 내에 악의적 클라이언트를 탐지하고 차단하여 통신을 줄일 수 있다.
• 표준 Federated Averaging(FA)와 비교할 때 AFA는 특히 반전 및 Byzantine 공격 하에서 악의 입력에 대해 견고함과 정확도를 향상시키며 안정성을 유지한다.
• 악의적인 노드를 제거하면 불필요한 통신이 줄고 서버 측 계산이 감소할 수 있다.
• AFA는 집계 시간 측면에서 MKRUM 및 COMED에 비해 현저한 효율성 향상을 보이며 강건성을 유지한다.