[논문 리뷰] What Doesn't Kill You Makes You Robust(er): How to Adversarially Train against Data Poisoning

Jonas Geiping, Liam Fowl외 4명|arXiv (Cornell University)|2021. 02. 26.

Adversarial Robustness in Machine Learning인용 수 13

한 줄 요약

이 논문은 훈련 중에 적대적으로 설계된 오염 예제를 주입하여, 악성 데이터 조작으로부터 모델을 보호하기 위해 새로운 적대적 훈련 프레임워크를 제안한다. 이 방법은 뛰어난 강건성-정확도 트레이드오프를 달성하며, 적응형 공격을 포함한 다양한 위협 모델에 일반화되며, DP-SGD나 표준 적대적 훈련과 같은 이전 방식을 능가한다.

ABSTRACT

Data poisoning is a threat model in which a malicious actor tampers with training data to manipulate outcomes at inference time. A variety of defenses against this threat model have been proposed, but each suffers from at least one of the following flaws: they are easily overcome by adaptive attacks, they severely reduce testing performance, or they cannot generalize to diverse data poisoning threat models. Adversarial training, and its variants, are currently considered the only empirically strong defense against (inference-time) adversarial attacks. In this work, we extend the adversarial training framework to defend against (training-time) data poisoning, including targeted and backdoor attacks. Our method desensitizes networks to the effects of such attacks by creating poisons during training and injecting them into training batches. We show that this defense withstands adaptive attacks, generalizes to diverse threat models, and incurs a better performance trade-off than previous defenses such as DP-SGD or (evasion) adversarial training.

연구 동기 및 목표

• 기계 학습에서 악성 행위자가 훈련 데이터를 조작하여 모델 행동을 조작하는 증가하는 데이터 오염 위협을 해결하기 위해.
• 기존 방어 방법이 낮은 테스트 정확도, 적응형 공격에 대한 취약성, 특정 위협 모델에만 적용 가능한 한계를 겪는 문제를 해결하기 위해.
• 다양한 데이터 오염 공격, 특히 타겟 공격과 백도어 공격을 견딜 수 있는 일반화 가능한 강건한 방어 프레임워크를 개발하기 위해.
• 기존에 테스트 시간의 적대적 예제에 효과적인 것으로 입증된 적대적 훈련을, 훈련 시간의 데이터 오염 공격에 확장하기 위해, 훈련 중에 적대적 오염물을 생성하고 주입하는 것.

제안 방법

• 모델 훈련 중에 실제 데이터 오염 공격를 모방하는 최악의 경우 변형을 최적화하여 적대적 오염 예제를 생성한다.
• 이러한 적대적으로 설계된 오염 예제를 훈련 배치에 주입함으로써, 모델 최적화 과정에서 현실적인 데이터 오염 시나리오를 시뮬레이션한다.
• 이 프레임워크는 이러한 주입된 오염물에 대한 모델의 민감도를 최소화하는 수정된 손실 함수를 사용하여, 효과적으로 모델이 강건해지도록 훈련한다.
• 사전에 오염된 데이터 포인트를 식별할 필요 없이 동적으로 오염물을 생성함으로써, 알려지지 않은 위협에 실시간으로 대응할 수 있다.
• 랜덤 노이즈 패치, 최적화된 최악의 경우 패치, 그리고 CutMix를 통한 분포 내 이미지 패치를 포함한 다양한 오염 생성 전략을 평가한다.
• 표준 적대적 훈련에서 사용하는 동일한 최적화 원리를 적용하지만, 이를 데이터 오염 위협 모델에 적용하여 오염된 데이터를 훈련 분포 내의 적대적 예외로 간주한다.

실험 결과

연구 질문

• RQ1 적대적 훈련이 테스트 시간의 적대적 예외 외에도 훈련 시간의 데이터 오염 공격에 효과적으로 적용될 수 있는가?
• RQ2 특히 알려진 방어 방법을 우회하기 위해 설계된 적응형 데이터 오염 공격에 대해 제안된 방법의 성능은 어떠한가?
• RQ3 DP-SGD나 표준 적대적 훈련과 같은 기존 방어 방법과 비교해 볼 때, 제안된 방어의 강건성-정확도 트레이드오프는 어떠한가?
• RQ4 타겟 오염 공격과 다양한 트리거 패턴을 가진 백도어 공격을 포함한 다양한 데이터 오염 위협 모델에 대해 방어가 일반화되는가?
• RQ5 훈련 중에 동적으로 생성된 오염물을 사용할 경우, 정적 또는 사전 식별된 오염 데이터보다 더 나은 일반화와 강건성을 달성하는가?

주요 결과

• 제안된 오염 면역 방어는 4×4 의미적 firefox 로고 패치에 대해 평균 25.80%의 오염 공격 성공률을 기록했으며, 방어되지 않은 모델의 79.68%에 비해 훨씬 낮다.
• 노이즈가 섞인 셰커보드 패치의 경우, 자연 정확도 92.00%를 유지하면서 오염 성공률을 29.77%로 낮추어 기준 방어 방법보다 뛰어난 성능을 보였다.
• 다양한 트리거 유형에 대해 잘 일반화된다: 외부 분포 노이즈 패치와 분포 내 의미적 패치 모두에 대해 강력한 강건성을 유지한다.
• 이미지 기반 패치(예: CutMix 방식)를 사용한 훈련은 랜덤 노이즈나 최적화된 패치보다 더 높은 강건성을 제공하며, 특히 의미 있는 트리거에 대해 유의미한 개선을 이룬다.
• DP-SGD는 자연 정확도를 69.33%로 낮추었음에도 불구하고 의미적 트리거에 매우 취약하여 오염 정확도가 94.40%에 이르렀으며, 이는 제안된 방어 방법보다 열등하다.
• 특징 공간의 시각화 결과, 방어된 모델이 오염에 의해 유도되는 특징 이동에 덜 민감한 더 강건한 표현을 학습하는 것으로 나타났다.