[논문 리뷰] Explore the Effect of Data Selection on Poison Efficiency in Backdoor Attacks

Ziqiang Li, Pengfei Xia외 4명|arXiv (Cornell University)|2023. 10. 15.

Adversarial Robustness in Machine Learning인용 수 5

한 줄 요약

이 논문은 기존의 랜덤 선택 전략에 비해 더 높은 독성 샘플 선택 효율성을 달성하기 위해 잊혀짐 사건과 손실 표면 곡률을 활용해 기여도가 높은 독성 샘플을 식별하는 새로운 샘플 선택 전략인 FUS++을 제안한다. 반복적인 필터링 및 샘플 풀 갱신을 통해 FUS++는 CIFAR-10, ImageNet-10, AG News, ESC-50, Facial Age 등 다양한 벤치마크에서 랜덤 선택 전략보다 유의미하게 높은 공격 성공률을 달성한다.

ABSTRACT

As the number of parameters in Deep Neural Networks (DNNs) scales, the thirst for training data also increases. To save costs, it has become common for users and enterprises to delegate time-consuming data collection to third parties. Unfortunately, recent research has shown that this practice raises the risk of DNNs being exposed to backdoor attacks. Specifically, an attacker can maliciously control the behavior of a trained model by poisoning a small portion of the training data. In this study, we focus on improving the poisoning efficiency of backdoor attacks from the sample selection perspective. The existing attack methods construct such poisoned samples by randomly selecting some clean data from the benign set and then embedding a trigger into them. However, this random selection strategy ignores that each sample may contribute differently to the backdoor injection, thereby reducing the poisoning efficiency. To address the above problem, a new selection strategy named Improved Filtering and Updating Strategy (FUS++) is proposed. Specifically, we adopt the forgetting events of the samples to indicate the contribution of different poisoned samples and use the curvature of the loss surface to analyses the effectiveness of this phenomenon. Accordingly, we combine forgetting events and curvature of different samples to conduct a simple yet efficient sample selection strategy. The experimental results on image classification (CIFAR-10, CIFAR-100, ImageNet-10), text classification (AG News), audio classification (ESC-50), and age regression (Facial Age) consistently demonstrate the effectiveness of the proposed strategy: the attack performance using FUS++ is significantly higher than that using random selection for the same poisoning ratio.

연구 동기 및 목표

• 랜덤 샘플 선택 전략이 낮은 기여도를 가진 샘플을 포함함으로써 독성 주입의 효과를 떨어뜨리는 문제를 해결하기 위해.
• 일부 정상 샘플이 다른 샘플보다 더 높은 기여도를 가지는지 여부를 조사하여, 모든 샘플이 동일한 기여도를 가진다는 가정에 도전하기 위해.
• 높은 영향력을 지닌 샘플을 식별하고 우선순위를 매김으로써 독성 주입의 효율성을 향상시키는 데이터 선택 전략을 개발하기 위해.
• 실제 환경에서의 은밀성 확보를 위해, 잘라내기 기반 방어에 대한 저항력을 평가하기 위해.

제안 방법

• 모델 재학습 중 무게 갱신의 크기를 측정하여 잊혀짐 사건을 정량화함으로써, 샘플이 백도어 학습에 기여하는 정도를 추정한다.
• 각 샘플 주변의 손실 표면 곡률을 분석하여, 독성 샘플이 모델 최적화 경로에 미치는 안정성과 영향력을 평가한다.
• 잊혀짐 점수와 곡률 점수의 조합을 기반으로 반복적으로 필터링 및 업데이트하는 메커니즘을 통해 고품질의 독성 샘플 풀을 유지한다.
• 다른 샘플 선택 전략과 달리, 정상 데이터셋에서의 클린 샘플을 랜덤하게 선택하는 것이 아니라, 기여도 예측 값을 기반으로 선택한다. 이는 미분 가능한 점수 함수를 사용한다.
• 이 전략은 이미지(CIFAR-10, CIFAR-100, ImageNet-10), 텍스트(AG News), 음성(ESC-50), 회귀 (Facial Age) 등 다양한 데이터 모odalities에 적용된다.
• 다양한 트리거(예: ‘hello kitty’, ‘rainbow-colored tube’)를 사용하여 이식성과 트리거-샘플 상호작용을 평가한다.

실험 결과

연구 질문

• RQ1 독성 주입을 위한 정상 샘플을 랜덤으로 선택할 경우, 기여도가 낮은 샘플이 포함되어 공격 효율성이 저하되는가?
• RQ2 잊혀짐 사건과 손실 표면 곡률이 샘플의 백도어 주입 기여도를 신뢰성 있게 예측할 수 있는가?
• RQ3 FUS++의 성능 향상 요인이 클래스 분포의 영향인지, 혹은 샘플의 본질적 품질 때문인지 확인하고, 분포가 일치하는 기준과 비교한다.
• RQ4 선택된 샘플과 다양한 트리거 유형 간의 상호작용이 공격 성공률와 이식성에 어떤 영향을 미치는가?
• RQ5 잘라내기 기반 백도어 방어에 대해 FUS++는 랜덤 선택 또는 이전 전략 대비 얼마나 강건한가?

주요 결과

• FUS++는 평가된 모든 데이터셋과 작업에서 랜덤 선택(RSS) 및 이전 필터링 전략(PFS)보다 유의미하게 높은 공격 성공률를 기록한다.
• VGG-13 기반 CIFAR-10에서, FUS++는 같은 독성 비율 조건에서 클래스 1(자동차)에 대해 92.2%의 공격 성공률를 달성했고, RSS는 83.4%였다.
• 클래스 0(비행기)에 대해서도 FUS++는 91.0%의 공격 성공률를 기록했으며, RSS(83.1%)와 PFS(87.0%)를 모두 초월했다.
• RSS의 클래스 분포가 FUS++가 선택한 샘플과 동일한 경우에도 RSS는 여전히 성능이 열 劣하므로, 성능 향상의 핵심 요인이 클래스 균형이 아니라 샘플 품질임을 입증한다.
• FUS++가 선택한 샘플은 다양한 트리거에 대해 이식 가능성을 보였지만, 그 정도는 트리거 유사도에 따라 달라지므로 샘플-트리거 상호작용 효과가 존재함을 시사한다.
• FUS++는 잘라내기 기반 방어에 대해 강력한 저항성을 보였으며, 50개의 정상 샘플을 제거한 상황에서도 높은 공격 성공률를 유지했고, RSS 및 PFS를 모두 능가했다.