[논문 리뷰] Amplifying Membership Exposure via Data Poisoning

Yufei Chen, Chao Shen외 3명|arXiv (Cornell University)|2022. 11. 01.

Adversarial Robustness in Machine Learning인용 수 8

한 줄 요약

이 논문은 기계 학습 모델에서 소속 관계 추론 노출을 극대화하기 위해 훈련 데이터를 미묘하게 조작하는 새로운 데이터 오염 공격을 제안한다. 일반적인 더러운 레이블 공격과 탐지에 흔들리지 않는 정밀한 최적화 기반의 깨끗한 레이블 공격을 도입하여, 모델 정확도를 유지하면서도 대상 클래스에 대한 소속 관계 추론 공격의 정밀도를 크게 향상시킨다.

ABSTRACT

As in-the-wild data are increasingly involved in the training stage, machine learning applications become more susceptible to data poisoning attacks. Such attacks typically lead to test-time accuracy degradation or controlled misprediction. In this paper, we investigate the third type of exploitation of data poisoning - increasing the risks of privacy leakage of benign training samples. To this end, we demonstrate a set of data poisoning attacks to amplify the membership exposure of the targeted class. We first propose a generic dirty-label attack for supervised classification algorithms. We then propose an optimization-based clean-label attack in the transfer learning scenario, whereby the poisoning samples are correctly labeled and look "natural" to evade human moderation. We extensively evaluate our attacks on computer vision benchmarks. Our results show that the proposed attacks can substantially increase the membership inference precision with minimum overall test-time model performance degradation. To mitigate the potential negative impacts of our attacks, we also investigate feasible countermeasures.

연구 동기 및 목표

• 데이터 오염과 프라이버시 泄露의 교차점, 특히 오염이 소속 관계 추론 공격을 어떻게 극대화할 수 있는지 조사하기 위해.
• 탐지에 흔들리지 않으면서도 훈련 데이터의 프라이버시 노출 위험을 증가시키는 실용적이고 도전적인 데이터 오염 기법을 개발하기 위해.
• 다양한 모델 아키텍처와 데이터셋, 다양한 훈련 제도 하에서 이러한 공격의 효과성을 평가하기 위해.
• 기존의 대응 조치, 예를 들어 조기 정지, 정규화, DP-SGD의 효과를 평가하기 위해.
• 오픈 월드 데이터 수집 환경이 깨끗한 레이블 오염을 통한 프라이버시 보호 공격을 가능하게 하는 현실 세계의 위협을 부각하기 위해.

제안 방법

• 대상 클래스에서 소속 관계 추론 정밀도를 높이기 위해 악성 샘플의 레이블을 수정하는 일반적인 더러운 레이블 데이터 오염 공격을 제안한다.
• 전이 학습 환경에서, 오염된 샘플이 눈에 띄지 않게 수정되지만 올바른 레이블을 유지하는 최적화 기반의 깨끗한 레이블 오염 공격을 개발한다.
• 소속 관계 추론 성공률을 극대화하면서도 테스트 정확도 저하를 최소화하기 위해 이중 최적화 프레임워크를 사용하여 오염 샘플을 제작한다.
• 특징 수준의 최적화를 활용하여 인간 모니터링자가 보기에는 정상적인 이미지를 생성하지만, 모델이 대상 클래스의 소속 관계를 더 강하게 기억하도록 유도한다.
• 다양한 아키텍처(InceptionV3, MobileNetV2 등)와 훈련 설정을 사용하여 컴퓨터 비전 벤치마크(CIFAR-10, ImageNet)를 통해 공격를 적용한다.
• 표준 메트릭인 소속 관계 추론 AUC와 TPR@FPR=1%를 사용하여 공격 효과를 평가하고, 테스트 정확도를 모니터링한다.

실험 결과

연구 질문

• RQ1 기존의 모델 정확도 저하나 오분류 외에 데이터 오염을 사용하여 소속 관계 추론 공격의 영향을 극대화할 수 있는가?
• RQ2 성능 저하 없이도 깨끗한 레이블 오염 공격이 소속 관계 추론 정밀도를 얼마나 효과적으로 향상시킬 수 있는가?
• RQ3 조기 정지, 가중치 정규화, DP-SGD와 같은 표준 대응 조치가 제안된 오염 공격을 어느 정도 완화할 수 있는가?
• RQ4 다양한 모델 아키텍처와 데이터셋에서 오염 예산이 변화할 경우 공격 성능는 어떻게 변하는가?
• RQ5 깨끗한 레이블 오염 공격는 인간 모니터링을 회피할 수 있으며, 여전히 상당한 수준의 프라이버시 泄露를 유도할 수 있는가?

주요 결과

• 제안된 더러운 레이블 오염 공격는 InceptionV3에서 소속 관계 추론 AUC를 0.598에서 0.621로, VGG16에서는 0.561에서 0.571로 향상시키며, 테스트 정확도 저하가 미미하다.
• 깨끗한 레이블 공격는 VGG16에서 소속 관계 추론 TPR@FPR=1%를 1.12%에서 1.29%로, ResNet50에서는 0.88%에서 1.08%로 향상시키며, 테스트 정확도를 80% 이상 유지한다.
• DP-SGD와 같은 강력한 대응 조치 하에서도 깨끗한 레이블 공격는 Xception에서 소속 관계 추론 AUC를 0.541로, VGG16에서는 0.538로 향상시켜 이러한 방어 조치의 효과가 제한적임을 시사한다.
• 공격는 InceptionV3, MobileNetV2, Xception, VGG16, ResNet50 등 여러 아키텍처와 CIFAR-10, ImageNet 등 다양한 데이터셋에서 효과적이며, 광범위한 적용 가능성을 보여준다.
• 깨끗한 레이블 공격는 전이 학습 환경에서 특히 효과적이며, 레이블링에 대한 통제가 필요 없고 인간 관찰자에게 자연스럽게 보인다.
• 공격는 테스트 성능 저하가 미미한 수준에서 상당한 프라이버시 증폭을 달성하여, 모델 유틸리티와 데이터 프라이버시 사이의 극심한 트레이드오프를 입증한다.