[논문 리뷰] A Little Is Enough: Circumventing Defenses For Distributed Learning

Moran Baruch, Gilad Baruch외 1명|arXiv (Cornell University)|2019. 02. 16.

Adversarial Robustness in Machine Learning참고 문헌 27인용 수 47

한 줄 요약

이 논문은 손상된 워커에서 다수 매개변수에 대한 작고 조정된 섭동이 분산 SGD의 기존 방어를 모두 무력화하고, 전니치 모형에 백도어를 삽입할 수 있으며, 전지전능한 공격자 지식이 필요하지 않다는 것을 보여준다.

ABSTRACT

Distributed learning is central for large-scale training of deep-learning models. However, they are exposed to a security threat in which Byzantine participants can interrupt or control the learning process. Previous attack models and their corresponding defenses assume that the rogue participants are (a) omniscient (know the data of all other participants), and (b) introduce large change to the parameters. We show that small but well-crafted changes are sufficient, leading to a novel non-omniscient attack on distributed learning that go undetected by all existing defenses. We demonstrate our attack method works not only for preventing convergence but also for repurposing of the model behavior (backdooring). We show that 20% of corrupt workers are sufficient to degrade a CIFAR10 model accuracy by 50%, as well as to introduce backdoors into MNIST and CIFAR10 models without hurting their accuracy

연구 동기 및 목표

• 비동일 독립 동등분포(i.i.d.) 가정에서 작동하는 비전능적 분산 학습 공격의 동기 부여와 형식을 formalize한다.
• 최신 방어 수단(Trimmed Mean, Krum, Bulyan)을 무력화할 수 있는 작고 조정된 매개변수 변화의 효과를 Demonstrate한다.
• 동일한 섭동이 수렴을 방해하고 모델의 백도어를 가능하게 하는 것을 Show한다.
• 일반적인 방어 하에서 탐지를 회피하는 안전한 섭동 범위를 계산하는 방법론을 제안한다.

제안 방법

• 비이방성 워커에 대한 정규분포 가정을 사용하여 매개변수당 평균 주위의 섭동 범위를 분석한다.
• Trimmed Mean에 의해 undetected 상태를 유지하는 표준편차 단위의 최대 섭동 z^max를 도출하고 확장하여 Krum 및 Bulyan에 의해서도 탐지되지 않는지 확인한다.
• 손상된 워커의 매개변수를 각 매개변수마다 평균 + z^max * sigma 로 설정하여 비전능적 공격을 구성한다.
• 섭동 범위 내에서 손실 항이 전체 정확도를 보존하도록 최적화하여 수렴 방지 및 백도어를 시연한다.
• 백도어 샘플 및 백도어 패턴 공격을 포함하는 백도어 전략을 제공하고, 원래 매개변수에서 벗어나지 않는 실행 가능 섭동 영역에서 최적화한다.

실험 결과

연구 질문

• RQ1 손상된 워커 전반에 걸친 작은 조정 섭동이 분산 SGD의 기존 집계 방어를 무력화할 수 있는가(전지능적 공격 지식 없이도)?
• RQ2 Trimmed Mean, Krum 및 Bulyan 방어 하에서 수렴을 오도하거나 백도어를 가능하게 하기 위해 필요한 매개변수 표준편차 단위의 섭동 범위는 얼마인가?
• RQ3 i.i.d. 가정 하에서 유해한 정확도를 높게 유지하면서 효과적인 백도어를 달성할 수 있는가?
• RQ4 일반적인 방어하에서 서로 다른 데이터세트(MNIST, CIFAR-10) 및 모델 아키텍처에 걸친 공격 전이성은 어떤가?

주요 결과

• 많은 매개변수에 대한 작고 방향성 있는 변화가 분산 학습에서 평가된 모든 방어(Trimmed Mean, Krum, Bulyan)를 무력화할 수 있다.
• 약 1–1.5 표준편차에 이르는 섭동은 CIFAR-10 정확도를 크게 저하시킬 수 있으며, MNIST는 더 탄력적이지만 여전히 영향을 받는다.
• Krum은 이 공격에 특히 취약하며, Bulyan과 Trimmed Mean 역시 방어 Variant에 따라 최대 약 24–48%의 워커가 손상되어도 우회될 수 있다.
• 이 공격은 백도어를 가능하게 하여 타깃 입력에 대해 공격자 제어 출력이 가능하게 하며, 정당한 정확도에 미치는 영향은 최소화된다.
• 일부 시나리오에서 Defense(평균화 없이)만이 공격에 대해 최적의 성능을 보이며, 견고성과 백도어 취약성 간의 실용적 무게 중심을 강조한다.