[논문 리뷰] Backdoor Attacks on Federated Learning with Lottery Ticket Hypothesis

Zeyuan Yin, Ye Yuan외 2명|arXiv (Cornell University)|2021. 09. 22.

Privacy-Preserving Technologies in Data참고 문헌 27인용 수 6

한 줄 요약

이 논문은 라tte리 티켓 가설 기반 연합 학습(LotteryFL)이 표준 연합 학습과 동일하게 백도어 공격에 취약하며, 티켓 구조에 영향을 주지만 핵심 뉴런을 유지한다는 점을 입증한다. 백도어가 포함된 티켓을 식별하기 위해 해밍 거리 기반 마스크 유사도를 활용한 탐지 방법을 제안하여 연합 학습 시스템에서 강력한 방어가 가능함을 보여준다.

ABSTRACT

Edge devices in federated learning usually have much more limited computation and communication resources compared to servers in a data center. Recently, advanced model compression methods, like the Lottery Ticket Hypothesis, have already been implemented on federated learning to reduce the model size and communication cost. However, Backdoor Attack can compromise its implementation in the federated learning scenario. The malicious edge device trains the client model with poisoned private data and uploads parameters to the center, embedding a backdoor to the global shared model after unwitting aggregative optimization. During the inference phase, the model with backdoors classifies samples with a certain trigger as one target category, while shows a slight decrease in inference accuracy to clean samples. In this work, we empirically demonstrate that Lottery Ticket models are equally vulnerable to backdoor attacks as the original dense models, and backdoor attacks can influence the structure of extracted tickets. Based on tickets' similarities between each other, we provide a feasible defense for federated learning against backdoor attacks on various datasets.

연구 동기 및 목표

• 라tte리 티켓 가설 기반의 LotteryFL이 연합 학습 환경에서 백도어 공격에 얼마나 취약한지 조사한다.
• 백도어 공격이 티켓 추출 과정 중에 추출된 라tte리 티켓의 구조적 구성에 어떻게 영향을 주는지 분석한다.
• 자르기 마스크의 구조적 유사도를 활용해 연합 학습에서 백도어가 포함된 티켓을 탐지할 수 있는 실용적인 방어 기법을 개발한다.
• 다양한 백도어 공격 시나리오와 여러 데이터셋 및 모델 아키텍처에서 탐지 기법의 효과성을 평가한다.
• 방어 기법이 거짓 경고를 최소화하면서도, 정상 티켓이 악성으로 잘못 분류되는 경우에도 모델 성능을 유지하는 데 강건함을 확보한다.

제안 방법

• 클라이언트 데이터를 오염시키기 위해 두 가지 백도어 공격 변종을 사용한다: 고정된 흰색 사각형 트리거를 가진 BadNet 및 랜덤화된 사각형 트리거를 가진 Random Trigger Attack.
• 라tte리 티켓 가설을 적용하여 모델을 훈련하고 정제하며, 정상 및 백도어가 포함된 훈련 데이터에서 하위망구조(라tte리 티켓)를 추출한다.
• 라tte리 티켓의 이진 마스크 간 해밍 거리를 사용해 구조적 유사도를 계산하고, 백도어 오염을 나타내는 이질성을 식별한다.
• 다수의 다른 클라이언트 티켓과의 유사도가著 떨어지는 클라이언트를 식별하기 위해 탐지 함수(Detect())를 구현한다.
• 백도어를 완화하기 위해 탐지된 티켓에 대해 미세조정 절차(FineTune())를 적용하여 모델 정확도와 강건성을 복원한다.
• 다양한 정제 비율(30%, 50%, 70%)과 데이터셋(CIFAR-10, CIFAR-100, VGG16, ResNet18)에서 정상 티켓과 백도어 티켓 간의 유사도를 비교한다.

실험 결과

연구 질문

• RQ1 연합 학습 환경에서 라tte리 티켓 하위망구조는 기존의 조밀한 대안과 동일하게 백도어 공격에 취약한가?
• RQ2 백도어 공격은 특히 뉴런 유지 및 정제 패턴 측면에서 추출된 라tte리 티켓의 구조적 구성에 어떻게 영향을 주는가?
• RQ3 라tte리 티켓 마스크 간의 구조적 유사도는 연합 학습에서 백도어가 포함된 모델을 신뢰성 있게 탐지하는 데 사용될 수 있는가?
• RQ4 제안된 탐지 기법은 거짓 경고를 최소화하면서도 모델 정확도와 강건성을 어느 정도 유지하는가?
• RQ5 비독립 동일 분포(NIID) 데이터 분포와 다양한 수준의 데이터 오염 상황에서 방어 기법은 어떻게 성능을 발휘하는가?

주요 결과

• LotteryFL은 표준 연합 학습과 마찬가지로 백도어 공격에 취약하며, 정제 후에도 높은 공격 성공률(ASR)을 유지한다(예: CIFAR-10에서 70% 정제 비율 시 98.7% ASR).
• 백도어 공격은 추출된 라tte리 티켓의 구조를 크게 변화시키며, VGG16-CIFAR10에서 30% 정제 비율 시 정상 티켓과 백도어 티켓 간 평균 유사도를 최대 33% 감소시킨다.
• 모델 정확도에 핵심적인 영향을 주는 뉴런(핵심 뉴런)은 정상 및 백도어 티켓 양쪽 모두에서 높은 확률로 유지되어, 공격 하에서도 높은 정상 데이터 정확도(CDA)를 유지할 수 있다.
• 제안된 탐지 기법은 높은 정밀도로 백도어가 포함된 티켓을 성공적으로 식별한다. 정상-백도어 쌍 간의 유사도 점수(예: 67.09–77.37)가 정상-정상 쌍보다 낮다는 점에서 이를 입증한다.
• 탐지와 미세조정을 조합한 방어 파이프라인은 모델 성능을 효과적으로 복원하고 백도어 영향을 줄이며, 정상 정확도를 떨어뜨리지 않는다.
• 거짓 경고가 발생하더라도(정상 티켓을 악성으로 잘못 분류하는 경우), 미세조정 단계가 모델의 유용성을 유지하여 성능 저하 없이 기능한다.