[논문 리뷰] BAAAN: Backdoor Attacks Against Autoencoder and GAN-Based Machine Learning Models

Ahmed Salem, Yannick Sautter외 3명|arXiv (Cornell University)|2020. 10. 06.

Adversarial Robustness in Machine Learning참고 문헌 26인용 수 20

한 줄 요약

이 논문은 오토인코더와 GAN에 대한 처음으로 배경 훼손 공격을 제안하며, 공격자가 훈련 중에 숨겨진 트리거를 삽입하여 모델 출력을 제어한다: 트리거가 활성화되면 오토인코더는 입력을 반전시키고, GAN은 트리거 시 타겟 분포에서 데이터를 생성한다. 이 공격는 청소된 데이터에서 정상 모델과 거의 동일한 성능 유지를 보이며, 오토인코더의 경우 0.0036 MSE, GAN의 경우 4.4–8.7 FID의 배경 훼손 성공률을 기록하여 높은 은폐성과 효과성을 입증한다.

ABSTRACT

The tremendous progress of autoencoders and generative adversarial networks (GANs) has led to their application to multiple critical tasks, such as fraud detection and sanitized data generation. This increasing adoption has fostered the study of security and privacy risks stemming from these models. However, previous works have mainly focused on membership inference attacks. In this work, we explore one of the most severe attacks against machine learning models, namely the backdoor attack, against both autoencoders and GANs. The backdoor attack is a training time attack where the adversary implements a hidden backdoor in the target model that can only be activated by a secret trigger. State-of-the-art backdoor attacks focus on classification-based tasks. We extend the applicability of backdoor attacks to autoencoders and GAN-based models. More concretely, we propose the first backdoor attack against autoencoders and GANs where the adversary can control what the decoded or generated images are when the backdoor is activated. Our results show that the adversary can build a backdoored autoencoder that returns a target output for all backdoored inputs, while behaving perfectly normal on clean inputs. Similarly, for the GANs, our experiments show that the adversary can generate data from a different distribution when the backdoor is activated, while maintaining the same utility when the backdoor is not.

연구 동기 및 목표

• 비즈니스 응용 분야에서 점점 더 널리 사용되는 오토인코더 및 GAN 기반 모델에 대한 배경 훼손 공격의 가능성과 영향을 조사한다.
• 분류 모델을 넘어서 생성 및 복원 기반 모델에까지 배경 훼손 공격의 위협 범위를 확장한다.
• 공격자가 숨겨진 트리거가 존재할 경우에만 모델 행동을 비밀리에 제어할 수 있음을 입증한다 — 예를 들어 특정 이미지를 생성하거나 입력을 반전시키는 방식으로.
• 청소된 입력에서의 성능 저하와 트리거가 활성화된 입력에서의 성공률을 측정하여, 배경 훼손된 모델의 은폐성과 유용성을 평가한다.

제안 방법

• 입력의 역수 복원을 목표로 삼는 모델을 유도하기 위해, 훈련 데이터에 트리거(예: 흰색 사각형)를 삽입함으로써 오토인코더에 대한 새로운 배경 훼손 공격 프레임워크를 제안한다.
• 청소된 입력에서의 성능 저하를 최소화하기 위해, 트리거가 내장된 샘플을 포함한 복원 손실을 최적화함으로써, 트리거가 포함된 샘플로 오토인코더를 훈련시킨다.
• 생성된 출력 분포에 대한 배경 훼손 제어를 가능하게 하기 위해, GAN에 다중 판별자 훈련 메커니즘을 설계한다.
• GAN의 잠재 노이즈 벡터 입력에 트리거를 통합함으로써, 공격자가 노이즈에 특정 패턴을 삽입함으로써 배경 훼손을 활성화할 수 있도록 한다.
• MNIST, CIFAR-10, CelebA 데이터셋을 대상으로, 모델의 유용성과 배경 훼손 성공률을 정량적으로 평가하기 위해 Frechet Inception Distance (FID)와 Mean Squared Error (MSE)를 사용한다.
• GAN에서 단일 이미지 타겟 및 전체 분포 타겟 배경 훼손 시나리오를 평가하며, 타겟 분포가 원래 분포와 완전히 다를 경우(예: CIFAR-10 GAN에 대해 MNIST를 타겟으로)도 포함한다.

실험 결과

연구 질문

• RQ1 트리거가 존재할 경우 공격자가 출력 복원 이미지를 제어할 수 있는 오토인코더에 배경 훼손 공격가 성공적으로 적용될 수 있는가?
• RQ2 특정 트리거가 잠재 노이즈 벡터에 삽입될 경우, GAN이 다른 분포에서 데이터를 생성하도록 배경 훼손할 수 있는가?
• RQ3 청소된 입력에서 복원 품질과 생성 정밀도 측면에서, 배경 훼손된 오토인코더 및 GAN의 성능은 청소된 모델과 어떻게 비교되는가?
• RQ4 청소된 입력에서의 모델 유용성에 대한 성능 저하가 최소화되는 정도로 배경 훼손을 은폐시킬 수 있는가?
• RQ5 배경 훼손이 활성화될 경우, 단일 타겟 이미지나 전체 이미지 분포를 유연하게 생성할 수 있는가?

주요 결과

• 배경 훼손된 오토인코더는 타겟 역수 복원을 위한 배경 훼손 입력에서 평균 제곱 오차(MSE)가 0.0036를 기록했으며, 청소된 모델보다 단지 0.00042 높게 나타나 청소된 데이터에서 거의 동일한 성능를 유지함을 보여준다.
• GAN의 경우, 청소된 모델과 거의 동일한 유용성을 유지했으며, 각각 MNIST, CIFAR-10, CelebA 데이터셋에서 FID 점수는 4.4, 8.7, 5.5를 기록하여 성능 저하가 거의 없음을 보여준다.
• 청소된 입력에서, 배경 훼손된 GAN의 FID 값은 청소된 GAN의 성능과 0.8% 이내로 유지되어 강력한 은폐성과 유용성 유지 능력을 보여준다.
• 타겟이 단일 이미지일 경우, 생성된 이미지와 타겟 이미지 간의 MSE는 약 0에 가까워 정밀한 배경 훼손 제어를 확인한다.
• 공격는 서로 다른 분포에서 이미지를 생성하는 데 성공했으며(예: CIFAR-10 GAN에 대해 MNIST를 타겟으로), 청소된 입력에서 FID가 1.6% 높고, 배경 훼손 출력에서 FID가 3.4% 악화되었지만, 이는 강건성과 유연성을 입증한다.
• 시각화 결과는 배경 훼손된 GAN이 원래 및 타겟 분포 양쪽에서 청소된 GAN과 구별할 수 없을 정도로 고품질의 이미지를 생성함을 확인하여 공격의 효과성과 은폐성을 검증한다.