[논문 리뷰] Attack-Resistant Federated Learning with Residual-based Reweighting

Shuhao Fu, Chulin Xie외 2명|arXiv (Cornell University)|2019. 12. 24.

Privacy-Preserving Technologies in Data참고 문헌 32인용 수 58

한 줄 요약

이 논문은 라벨 플리핑과 백도어 공격에 대해 비 IID 설정에서 반복 중위 회귀와 IRLS 스타일 가중치를 결합한 잔차 기반 가중 재가중화 집계(Federated Learning)를 제시하여 이론적 보장을 제공합니다.

ABSTRACT

Federated learning has a variety of applications in multiple domains by utilizing private training data stored on different devices. However, the aggregation process in federated learning is highly vulnerable to adversarial attacks so that the global model may behave abnormally under attacks. To tackle this challenge, we present a novel aggregation algorithm with residual-based reweighting to defend federated learning. Our aggregation algorithm combines repeated median regression with the reweighting scheme in iteratively reweighted least squares. Our experiments show that our aggregation algorithm outperforms other alternative algorithms in the presence of label-flipping and backdoor attacks. We also provide theoretical analysis for our aggregation algorithm.

연구 동기 및 목표

• 적대적 공격과 비 IID 데이터 하에서 연합학습의 강건한 집계 동기 부여.
• 잔차와 강건 회귀를 활용한 공격 저항적 집계 알고리즘 개발.
• 제안 방법의 이론적 분석 및 강건성 보장 제공.
• 다양한 데이터셋 및 작업 도메인에서의 실증적 강건성 시연.

제안 방법

• 잔차에 의해 결정되는 가중치를 갖는 각 로컬 모델이 강건 회귀선에 기여하는 재가중 집계를 사용.
• 반복 중위 추정치를 이용해 로컬 모델의 강건한 회귀를 추정하여 y = beta0 + beta1 x 형태의 회귀선을 얻음.
• 잔차를 계산하고 IRLS 스타일 스케일링으로 정규화하여 매개변수 신뢰도 점수를 도출.
• 외삽자가 지배하지 못하도록 극값 보정과 함께 매개변수 신뢰도를 모아 로컬 모델에 가중치를 부여.
• 도출된 모델 가중치를 사용해 로컬 모델의 가중 합으로 글로벌 모델을 계산.
• 손상된 참여자 하에서 글로벌 모델 오차가 제어된다는 이론적 한계를 제공.

실험 결과

연구 질문

• RQ1 잔차 기반 재가중 메커니즘이 비 IID 설정에서 라벨 플리핑 및 백도어 공격에 대해 연합학습의 강건성을 향상시킬 수 있는가?
• RQ2 반복 중위와 IRLS에서 영감을 얻은 가중치가 집계 품질 및 공격 저항성에 어떤 영향을 미치는가?
• RQ3 제안된 공격 저항적 집계에 대한 이론적 보장은 무엇인가?

주요 결과

• 제안된 집계가 비 IID 연합학습에서 공격된 모델의 영향을 크게 완화합니다.
• 이 방법은 MNIST, CIFAR-10, Amazon Reviews, Lending Club 데이터에서 라벨 플리핑 및 백도어 공격 하에 FedAvg, 좌표별 중앙값, 잘라내기 평균, FoolsGold 등의 기준선보다 우수합니다.
• 반복 중위 회귀를 잔차 기반 재가중화와 결합하여 모델 신뢰도를 할당함으로써 추가 참조 데이터 세트 없이도 강건성을 향상시킵니다.
• 이론적 분석은 손상된 참여자가 있을 때 글로벌 모델 오차의 상한을 제공합니다.
• 극값 보정 및 모델별 가중은 소수의 악성 업데이트가 글로벌 모델을 지배하는 것을 방지하는 데 도움이 됩니다.