[논문 리뷰] Autoregressive Perturbations for Data Poisoning

Pedro Sandoval-Segura, Vasu Singla외 4명|arXiv (Cornell University)|2022. 06. 08.

Adversarial Robustness in Machine Learning인용 수 8

한 줄 요약

이 논문은 데이터 풀링을 위한 자동회귀(AR) 변형을 소개한다. 이 방법은 대상 데이터셋이나 서rogate 모델 훈련에 대한 접근이 없이도 효과적이고 일반적이며 아키텍처에 관계없이 적용 가능한 오염된 데이터를 생성한다. 기존 방법과 달리 AR 풀링은 간단하고 수작업으로 지정된 AR 과정을 사용하여 인지하기 어려운, 매우 분리 가능한 노이즈를 생성하며, 다양한 아키텍처와 방어 기법에 걸쳐 모델의 일반화 능력을 떨어뜨린다. 이는 오차 최대화, 오차 최소화, 무작위 노이즈 기반 베이스라인들보다 방어성과 효과성 면에서 뛰어나다.

ABSTRACT

The prevalence of data scraping from social media as a means to obtain datasets has led to growing concerns regarding unauthorized use of data. Data poisoning attacks have been proposed as a bulwark against scraping, as they make data "unlearnable" by adding small, imperceptible perturbations. Unfortunately, existing methods require knowledge of both the target architecture and the complete dataset so that a surrogate network can be trained, the parameters of which are used to generate the attack. In this work, we introduce autoregressive (AR) poisoning, a method that can generate poisoned data without access to the broader dataset. The proposed AR perturbations are generic, can be applied across different datasets, and can poison different architectures. Compared to existing unlearnable methods, our AR poisons are more resistant against common defenses such as adversarial training and strong data augmentations. Our analysis further provides insight into what makes an effective data poison.

연구 동기 및 목표

• 비허가된 데이터 스크래핑의 증가하는 위협에 대응하기 위해, 대상 데이터셋이나 모델 아키텍처에 대한 접근 없이도 효과적인 데이터 풀링을 가능하게 한다.
• 서로 다른 데이터셋과 아키텍처에 걸쳐 일반화 가능한 풀링 방법을 개발하여, 비용이 많이 드는 서rogate 네트워크 훈련이 필요 없도록 한다.
• 적응 훈련, Cutout, CutMix, Mixup와 같은 일반적인 방어 기법에 대한 저항력을 향상시킨다.
• 모델 파라미터를 통해 최적화하거나 역전파 없이도 강력하고 무차별적인 데이터 오염을 만들 수 있는지 조사한다.
• 간단하고 쉽게 학습 가능한 변형이 모델의 일반화 능력을 떨어뜨리는 데 매우 효과적일 수 있음을 입증한다.

제안 방법

• 자기회귀(AR) 과정을 사용하여 추가적인 변형을 생성하며, 특히 AR(p) 모델을 사용한다. 여기서 각 픽셀은 이전 p개 픽셀의 선형 조합에 노이즈를 더한 것이다.
• AR 과정은 데이터 및 아키텍처에 관계없이 적용 가능하므로, 다양한 이미지 크기, 데이터셋, 신경망 아키텍처 간에 재사용이 가능하다.
• 변형이 매우 분리 가능하고 쉽게 학습 가능하다는 것을 보여주기 위해, AR 전용 필터를 갖춘 수작업으로 지정된 3층의 CNN을 사용한다.
• 동일한 10개의 AR 과정이 데이터셋 내 모든 이미지에 동일하게 적용되며, 최적화 없이 다양한 그러나 일관된 변형을 생성한다.
• 변형은 클래스별로 적용되어, 동일한 클래스에 属하는 모든 이미지가 동일한 추가 노이즈 패턴을 받는다.
• 역전파와 GPU 사용을 피함으로써, 몇 초 내에 오염 패턴을 신속하게 생성할 수 있다.

실험 결과

연구 질문

• RQ1 대상 데이터셋이나 서rogate 모델 파라미터에 접근하지 않고도 효과적인 데이터 풀링을 달성할 수 있는가?
• RQ2 AR 과정과 같은 단순하고 구조화된 변형이 무작위 또는 최적화 기반 노이즈보다 풀링 효과에서 뛰어나게 되는가?
• RQ3 적응 훈련과 데이터 증강(예: Cutout, CutMix)과 같은 강력한 방어 조건에서 AR 풀링은 어떻게 작동하는가?
• RQ4 수작업으로 지정된 CNN이 AR 변형이 쉽게 분리 가능하다는 것을 입증할 수 있으며, 이는 풀링 성공과 관련이 있는가?
• RQ5 청소된 데이터와 혼합되었을 때, AR 풀링은 특히 부분적 오염이 이루어지는 현실적인 상황에서 얼마나 효과적인가?

주요 결과

• AR 풀링은 여러 데이터셋(CIFAR-10, SVHN, Tiny-ImageNet)과 아키텍처(ResNet-18, Wide ResNet)에서 오차 최대화, 오차 최소화, 무작위 노이즈 기반 베이스라인들과 비교해도 경쟁력 있거나 뛰어난 성능을 기록한다.
• CIFAR-10에서 5%의 데이터만 청소된 상태일 경우, AR 풀링은 테스트 정확도를 62.69%로 떨어뜨려 청소된 데이터만 사용했을 때의 74.97%보다 훨씬 열 劣하다.
• 반응 훈련(반경 ρₐ = 0.125) 조건에서 AR 풀링은 76.13%의 테스트 정확도를 유지하며, 다른 모든 방법들이 동일 조건에서 70% 이하로 떨어지는 것과 대비된다.
• AR 풀링은 다른 오염물이 실패하거나 심하게 성능이 떨어지는 강력한 데이터 증강 기법인 Cutout, CutMix, Mixup 조건에서도 효과적으로 작동한다.
• 청결한 데이터와 혼합되었을 때, AR 오염된 데이터는 다른 어떤 오염물보다도 모델의 일반화 능력을 더 심각하게 떨어뜨리며, 단순히 효과가 없을 뿐 아니라 실제로 해로운 영향을 미친다는 것을 시사한다.
• 동일한 10개의 AR 과정은 재학습 없이도 다양한 데이터셋과 이미지 크기 간에 재사용 가능하므로, 높은 일반성과 낮은 계산 비용을 입증한다.