[논문 리뷰] SparseFed: Mitigating Model Poisoning Attacks in Federated Learning with Sparsification

Ashwinee Panda, Saeed Mahloujifar외 3명|arXiv (Cornell University)|2021. 12. 12.

Privacy-Preserving Technologies in Data인용 수 13

한 줄 요약

SparseFed는 타겟 모델 훼손 공격을 완화하기 위해 글로벌 상위-k 기울기 희소화와 장치 수준 기울기 클리핑을 사용하는 새로운 플랫폼 학습 방어 기법이다. FEMNIST에서 공격 성공률을 97% 이상 감소시키면서도, 공격이 없는 모델과 비교해 테스트 정확도를 1% 이내로 유지하며, 다양한 데이터셋과 공격 유형에 걸쳐 기존 방어 기법보다 우수한 강건성과 확장성 확보를 입증하였다.

ABSTRACT

Federated learning is inherently vulnerable to model poisoning attacks because its decentralized nature allows attackers to participate with compromised devices. In model poisoning attacks, the attacker reduces the model's performance on targeted sub-tasks (e.g. classifying planes as birds) by uploading "poisoned" updates. In this report we introduce \algoname{}, a novel defense that uses global top-k update sparsification and device-level gradient clipping to mitigate model poisoning attacks. We propose a theoretical framework for analyzing the robustness of defenses against poisoning attacks, and provide robustness and convergence analysis of our algorithm. To validate its empirical efficacy we conduct an open-source evaluation at scale across multiple benchmark datasets for computer vision and federated learning.

연구 동기 및 목표

• 크로스디바이스 및 크로스실 환경에서 플랫폼 학습의 타겟 모델 훼손 공격에 대한 임계적인 취약성을 해결하기 위해.
• 비독립 동일 분포 데이터, 장치당 단일 참여, 명성 메커니즘 부재 등의 현실적 제약 조건을 고려한 학습 시점 방어 기법을 개발하기 위해.
• 훼손으로 인한 모델 이탈의 최대치를 제한하는 인증 반경 프레임워크를 사용해 강건성 보장을 수학적으로 보장하기 위해.
• 컴퓨터 비전 및 NLP 분야의 다양한 벤치마크 데이터셋에서 다양한 공격 시나리오를 기반으로 방어 기법의 실증적 검증을 수행하기 위해.
• 희소화 기반 방어 기법이 기존의 바이러스티안-강건한 방법보다 우수할 수 있음을 입증하고, 특히 공모 공격자가 협력하는 환경에서의 성능을 입증하기 위해.

제안 방법

• 장치 수준 기울기 클리핑을 적용해 전송 전 개별 업데이트의 크기를 제한한다.
• 서버에서는 전체 기울기를 계산하고, 크기 기준 상위-k 요소만 유지하여 희소 업데이트 벡터를 형성한다.
• 이 희소화 과정은 일반 방향과 일치하지 않을 가능성이 높은 낮은 크기의 기울기 업데이트를 자연스럽게 걸러내어 보안성을 향상시킨다.
• 이 방어 기법은 학습 시점에서만 작동하며, 테스트 시점의 수정 없이 플랫폼 최적화 파이프라인에 통합된다.
• 인증 반경 메트릭을 사용해 훼손된 모델이 순수한 모델에서 이격될 수 있는 최대 거리를 공식적으로 제한한다.
• 두 가지 구현 방식을 평가: 표준 상위-k 희소화 및 FetchSGD 기반 희소화. 양측 모두 강건성과 통신 효율성이 향상됨을 입증.

실험 결과

연구 질문

• RQ1 기울기 희소화와 클리핑이 플랫폼 학습에서 타겟 모델 훼손 공격에 대해 인증된 강건성을 동시에 제공할 수 있는가?
• RQ2 SparseFed는 크로스디바이스 및 크로스실 환경에서 기존 및 신규 도입된 공모 공격 전략에 대해 어떻게 성능을 발휘하는가?
• RQ3 기본 방어 기법인 $β$-클리핑 또는 $β$-클리핑에 동반 가속 기법을 적용한 경우에 비해, 희소화는 모델 이격의 인증 반경을 얼마나 줄이는가?
• RQ4 SparseFed는 다양한 비독립 동일 분포 데이터셋에서 공격 성공률을 크게 감소시키면서도 높은 테스트 정확도를 유지하는가?
• RQ5 희소화 기반 방어 기법은 특히 공모 공격자가 업데이트를 조율하는 상황에서 기존 바이러스티안-강건한 방법보다 더 뛰어난 강건성을 확보할 수 있는가?

주요 결과

• FEMNIST에서 숫자 1과 7을 타겟으로 삼을 경우 공격 정확도를 1.95%로 감소시키며, 4와 9를 타겟으로 삼을 경우 6.72%로 유지하여 의미론적 백도어 변종에 대해 일관된 강건성을 입증하였다.
• FEMNIST 데이터셋에서 SparseFed는 공격 성공률을 기존 공격이 없는 기준 대비 97% 이상 감소시켰으며, 이는 기존 방어 기법보다 뚜렷이 뛰어난 성능을 보였다.
• CIFAR100 환경에서는 동일한 은폐 임계값 조건에서 $β$-클리핑 방어 기법 대비 5–10배의 강건성 향상을 달성했으며, OIF는 0.05로 기존의 0.5보다 훨씬 낮았다.
• 모든 평가된 데이터셋에서 공격이 없는 모델과 비교해 테스트 정확도를 1% 이내로 유지하였으며, 이는 5만에서 80만 개의 예제를 포함하는 데이터셋과 600만에서 4000만 파라미터를 가진 모델을 포함한 다양한 환경에서 성립하였다.
• FetchSGD 기반 희소화를 적용한 SparseFed는 통신 및 은폐 조건이 유사할 경우 $β$-클리핑 대비 강건성에서 5–10배 향상된 페레토 경계를 확보하였다.
• 500개의 보조 데이터셋을 사용해 공모 PGD 기반 공격을 수행하는 공격자에게도 효과를 유지하여, 고정밀도의 협력 공격에 대한 강건성을 입증하였다.