[논문 리뷰] Learning the Unlearnable: Adversarial Augmentations Suppress Unlearnable Example Attacks

Tianrui Qin, Xitong Gao외 3명|arXiv (Cornell University)|2023. 03. 27.

Adversarial Robustness in Machine Learning인용 수 7

한 줄 요약

이 논문은 오염된 예측 불가능한 예제 공격에 대비한 새로운 방어 기법인 UEraser를 제안한다. 이 기법은 공격자에 의해 유도된 비정상적 변형을 억제하기 위해 오류 최대화 데이터 증강 기법을 사용한다. 기존의 ℓp-제한된 변형에 국한되는 전통적 적대적 훈련과 달리, UEraser는 이러한 제약을 초월하는 자연스럽고 현실적인 증강 기법을 활용하여 최소한의 정확도 손실로 최신 기술 수준의 성능을 달성한다. 오염된 CIFAR-10 데이터에 대해 테스트 정확도 95.24%를 회복하여 정상 훈련 결과에 근접한 성능을 보였다.

ABSTRACT

Unlearnable example attacks are data poisoning techniques that can be used to safeguard public data against unauthorized use for training deep learning models. These methods add stealthy perturbations to the original image, thereby making it difficult for deep learning models to learn from these training data effectively. Current research suggests that adversarial training can, to a certain degree, mitigate the impact of unlearnable example attacks, while common data augmentation methods are not effective against such poisons. Adversarial training, however, demands considerable computational resources and can result in non-trivial accuracy loss. In this paper, we introduce the UEraser method, which outperforms current defenses against different types of state-of-the-art unlearnable example attacks through a combination of effective data augmentation policies and loss-maximizing adversarial augmentations. In stark contrast to the current SOTA adversarial training methods, UEraser uses adversarial augmentations, which extends beyond the confines of $ \ell_p $ perturbation budget assumed by current unlearning attacks and defenses. It also helps to improve the model's generalization ability, thus protecting against accuracy loss. UEraser wipes out the unlearning effect with error-maximizing data augmentations, thus restoring trained model accuracies. Interestingly, UEraser-Lite, a fast variant without adversarial augmentations, is also highly effective in preserving clean accuracies. On challenging unlearnable CIFAR-10, CIFAR-100, SVHN, and ImageNet-subset datasets produced with various attacks, it achieves results that are comparable to those obtained during clean training. We also demonstrate its efficacy against possible adaptive attacks. Our code is open source and available to the deep learning community: https://github.com/lafeat/ueraser.

연구 동기 및 목표

• 데이터에 오염되어 학습을 방해하면서도 기밀성을 유지하는 예측 불가능한 예제 공격의 증가하는 위협을 해결하기 위해.
• 특히 적대적 훈련과 비교할 때 데이터 증강이 예측 불가능한 오염에 효과가 없다는 가정을 도전하기 위해.
• ℓp-편차 제약을 초월하고 전통적 적대적 훈련에서 흔히 발생하는 정확도 저하를 피하는 방어 기법을 개발하기 위해.
• 적응형 공격에 대한 강건성 평가 및 다양한 증강 정책이 모델 성능 복원에 얼마나 효과적인지 탐색하기 위해.

제안 방법

• UEraser는 현재 예측 불가능한 공격에서 가정하는 ℓp 편차 범위를 초월하는 증강 기법을 사용하여 예측 불가능한 학습 단서를 방해한다.
• 무작위 샘플링 확률 0.5로 PlasmaBrightness, PlasmaContrast, ChannelShuffle, TrivialAugment 등의 다수 자연 증강 정책을 조합한다.
• 학습 중에 오염된 예제에서 오류를 최대화하기 위해 적대적 증강을 K회 반복적으로 샘플링함으로써 강건성을 향상시킨다.
• 경량 버전인 UEraser-Lite(K=1)는 적대적 샘플링을 생략하지만 여전히 높은 정상 정확도를 달성하여 높은 계산 비용 없이도 효과적임을 입증한다.
• 표준 증강 라이브러리(Kornia)를 사용하며 기본 하이퍼파라미터를 그대로 적용하여 호환성과 재현 가능성을 확보한다.
• UEraser는 외부 분포에서 벗어난 변형을 피하고 분포 유지 변환을 적용함으로써 모델 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 ℓp-편차 제약을 초월하는 데이터 증강 전략이 예측 불가능한 예제 공격에 효과적으로 대응할 수 있는가?
• RQ2 오류 최대화 증강 기법이 예측 불가능한 공격 하에서 전통적 적대적 훈련보다 모델 정확도를 더 잘 유지하는가?
• RQ3 정확도 저하가 전통적 적대적 훈련에서 흔한 현상임을 감안할 때, 방어 기법이 효과적이면서도 효율적일 수 있는가?
• RQ4 UEraser는 존재하는 방어 기법을 공격하는 적응형 공격에 얼마나 강건한가?
• RQ5 자연스럽고 현실적인 증강 기법이 예측 불가능한 데이터에서 모델 성능을 얼마나 복원할 수 있는가?

주요 결과

• UEraser는 EM 공격(ℓ∞ = 8/255)으로 생성된 예측 불가능한 CIFAR-10 데이터에서 95.24%의 테스트 정확도를 달성하여 정상 훈련 결과인 95.36%에 근접했다.
• UEraser-Lite는 단지 K=1의 증강 샘플링만을 사용해도 기존 방어 기법인 적대적 훈련과 이미지 단순화 기법보다 뚜렷이 높은 90.78%의 정확도를 기록했다.
• 증강 샘플링 반복 횟수(K)를 늘릴수록 방어 성능이 향상되며, UEraser-Max에서 K=10일 경우 94.06%의 정확도를 기록하여 확장성 있음을 입증했다.
• UEraser는 CIFAR-100, SVHN, ImageNet-Subset 등 여러 데이터셋에서 다섯 가지 최신 기술 수준의 예측 불가능한 공격에 대해 높은 성능을 유지했다.
• UEraser는 적응형 공격에 대해 강건하며, 기존 방어 기법인 적대적 훈련과 이미지 단순화 기법보다 정확도 유지에서 뛰어난 성능을 보였다.
• 표준 적대적 훈련에서 관찰되는 정확도 손실을 피하면서도 외부 분포에서 벗어난 변형을 도입하지 않아 모델 일반화 능력을 향상시켰다.