[논문 리뷰] SAFELearning: Enable Backdoor Detectability In Federated Learning With Secure Aggregation

Zhuosheng Zhang, Jiarui Li외 2명|arXiv (Cornell University)|2021. 02. 04.

Privacy-Preserving Technologies in Data참고 문헌 32인용 수 9

한 줄 요약

SAFELearning는 안전한 집계를 통해 모델 프라이버시를 유지하면서도 백도어 탐지 기능을 제공하는 새로운 피어드 페더레이티드 러닝 프로토콜을 제안한다. 비밀스러운 무작위 그룹화(ORG)와 부분적 매개변수 공개(PPD)를 도입하여 개별 모델 매개변수를暴露하지 않고도 집계된 하위군 모델에서 이질성 탐지가 가능하게 하여, 일반적인 공격 전략 하에서 백도어 정확도를 거의 0%로 줄이고, 이전 연구 대비 계산 오버헤드를 감소시킨다.

ABSTRACT

For model privacy, local model parameters in federated learning shall be obfuscated before sent to the remote aggregator. This technique is referred to as \emph{secure aggregation}. However, secure aggregation makes model poisoning attacks such backdooring more convenient considering that existing anomaly detection methods mostly require access to plaintext local models. This paper proposes SAFELearning which supports backdoor detection for secure aggregation. We achieve this through two new primitives - \emph{oblivious random grouping (ORG)} and \emph{partial parameter disclosure (PPD)}. ORG partitions participants into one-time random subgroups with group configurations oblivious to participants; PPD allows secure partial disclosure of aggregated subgroup models for anomaly detection without leaking individual model privacy. SAFELearning can significantly reduce backdoor model accuracy without jeopardizing the main task accuracy under common backdoor strategies. Extensive experiments show SAFELearning is robust against malicious and faulty participants, whilst being more efficient than the state-of-art secure aggregation protocol in terms of both communication and computation costs.

연구 동기 및 목표

• 로컬 모델 매개변수를 안전한 집계로 보호할 때 페더레이티드 러닝에서 백도어 공격을 탐지하는 데 도전하는 문제를 해결하기 위해.
• 악성 모델 업데이트 탐지 능력을 훼손하지 않으면서도 모델 프라이버시를 유지하기 위해.
• 대규모 페더레이티드 러닝 시스템에서 안전한 집계의 계산 및 통신 오버헤드를 줄이기 위해.
• 개별 모델 매개변수의 평문 형태에 접근하지 않고도 집계된 모델에서 효과적인 이질성 탐지가 가능하도록 하기 위해.
• 실제 페더레이티드 러닝 구현 환경에서 악성 및 고장 난 참가자에 대해 강건성을 확보하기 위해.

제안 방법

• 사용자를 한 번만 무작위로 하위군으로 분할하는 비밀스러운 무작위 그룹화(ORG)를 도입하여, 사용자 및 집계자 모두가 그룹 구성 및 구성 정보를 모른 채로 유지한다.
• 부분적 매개변수 공개(PPD)를 활용하여 하위군 모델 매개변수의 집계 결과를 안전하게 공개함으로써 이질성 탐지가 가능하게 하되, 개인 정보 泄露를 글로벌 모델 수준으로 제한한다.
• 사용자 측에서 계산 복잡도를 O(N² + mN)에서 O(N + n² + m)로, 서버 측에서 O(mN²)에서 O(mN + nN)로 줄이기 위해 계층적 하위군 설계를 사용한다.
• 쌍별 마스킹과 비밀 분할 등의密码 기법을 활용하여 드롭아웃 및 악성 동작 상황에서도 보안성과 정확성을 유지한다.
• 개별 모델 가중치를暴露하지 않고도 백도어 패턴을 식별하고 완화하기 위해 하위군 모델에 적응형 이질성 탐지 기법을 적용한다.
• 시뮬레이션 기반 모델에 기반한 증명 가능한 보안성을 확보하여, 공모하거나 기회주의적인 공격자 존재하에서도 프라이버시와 무결성을 유지한다.

실험 결과

연구 질문

• RQ1 로컬 모델 매개변수를 안전한 집계로 은폐할 때 페더레이티드 러닝에서 백도어 탐지가 효과적으로 가능할 수 있는가?
• RQ2 개별 모델 프라이버시 泄露를 방지하면서도 안전한 집계를 이질성 탐지 기능을 지원하도록 확장할 수 있는가?
• RQ3 기존 프로토콜 대비 안전한 페더레이티드 러닝에서 백도어 탐지 기능을 활성화할 경우 계산 및 통신 오버헤드는 얼마나 되는가?
• RQ4 실제 구현 환경에서 악성 및 고장 난 참가자에 대해 제안된 기법이 얼마나 강건한가?
• RQ5 일반적인 공격 전략 하에서 SAFELearning는 백도어 정확도를 얼마나 줄일 수 있으며, 주 작업 정확도는 유지할 수 있는가?

주요 결과

• 공격자 비율이 비교적 낮을 경우, SAFELearning는 일반적인 백도어 전략 하에서 백도어 모델 정확도를 거의 0%로 줄여 강력한 방어 능력을 입증한다.
• 프로토콜는 순수한 페더레이티드 러닝과 유사한 수렴 속도를 유지하여 주 학습 작업에 미치는 영향을 최소화함을 보여준다.
• 계산 복잡도가 크게 감소함: 사용자 측에서 O(N² + mN)에서 O(N + n² + m)로, 서버 측에서 O(mN²)에서 O(mN + nN)로 감소한다.
• ResNet-18과 CIFAR-10을 대상으로 한 광범위한 실험을 통해 악성 및 고장 난 참가자에 대해 강건함을 입증하였다.
• 부분적 매개변수 공개 기법을 통해 개별 모델 매개변수를暴露하지 않고도 하위군 모델에서 효과적인 이질성 탐지가 가능하여 프라이버시를 유지한다.
• 상태의 기술 대비 효율성이 뛰어나, 통신 및 계산 비용을 낮추면서도 백도어 탐지 기능을 지원한다.