[논문 리뷰] Defending Against Adversarial Attacks by Leveraging an Entire GAN

Gokula Krishnan Santhanam, Paulina Grnarova|arXiv (Cornell University)|2018. 05. 27.

Adversarial Robustness in Machine Learning참고 문헌 10인용 수 24

한 줄 요약

이 논문은 사전 훈련된 GAN의 생성기와 판별기를 활용하여 이상치 예측을 탐지하고 정제하는 GAN 기반 방어 기법인 Cowboy을 제안한다. 이상치 샘플은 데이터 만만에서 벗어나 있다는 사실을 이용하여, 판별기가 이를 탐지하고 생성기가 이를 만만으로 다시 투영함으로써 분류 정확도를 기존 분류기의 최악의 공격에서 0.02%에서 0.81%로 향상시킨다. 이 과정에서 분류기의 수정 없이도 성능 향상을 달성한다.

ABSTRACT

Recent work has shown that state-of-the-art models are highly vulnerable to adversarial perturbations of the input. We propose cowboy, an approach to detecting and defending against adversarial attacks by using both the discriminator and generator of a GAN trained on the same dataset. We show that the discriminator consistently scores the adversarial samples lower than the real samples across multiple attacks and datasets. We provide empirical evidence that adversarial samples lie outside of the data manifold learned by the GAN. Based on this, we propose a cleaning method which uses both the discriminator and generator of the GAN to project the samples back onto the data manifold. This cleaning procedure is independent of the classifier and type of attack and thus can be deployed in existing systems.

연구 동기 및 목표

• 깊이 신경망이 인지할 수 없는 정도의 이상치 변형으로 인한 오분류 문제를 해결하기 위해.
• 대상 분류기 및 공격 유형에 관계없이 독립적인 방어 기법을 개발하여 즉시 사용이 가능한 플러그-앤플러그 배치를 가능하게 하기 위해.
• 이상치 샘플이 GAN이 학습한 데이터 만만 외부에 존재한다는 것을 경험적으로 검증하기 위해.
• 생성기와 판별기를 함께 사용하여 이상치 샘플을 데이터 만만으로 다시 투영하는 정제 절차를 설계하기 위해.
• 분류기의 재훈련이나 수정 없이도 다양한 데이터셋과 공격 방법에 대해 일반화할 수 있도록 하기 위해.

제안 방법

• 이상치 예측 샘플 없이 진짜 데이터만으로 표준 GAN을 훈련한다.
• 훈련된 판별기를 사용해 입력 샘플의 점수를 매기며, 낮은 점수는 이상치일 가능성이 높다는 것을 의미한다.
• 생성기를 통한 재구성과 높은 판별기 점수를 동시에 최적화하는 정제 목적함수를 적용한다.
• 반복 최적화를 통해 이상치 입력을 데이터 만만 쪽으로 투영하면서 판별기의 신뢰도를 극대화한다.
• 원래 분류기의 입력 전에 청소된 샘플을 사전 처리로 사용한다.
• 이 방법이 분류기의 아키텍처와 훈련 과정에 독립적이도록 보장한다.

실험 결과

연구 질문

• RQ1 이상치 샘플은 진짜 데이터로 훈련된 GAN이 학습한 데이터 만만 외부에 존재하는가?
• RQ2 다양한 공격과 데이터셋에서 GAN의 판별기가 이상치 샘플을 신뢰성 있게 탐지할 수 있는가?
• RQ3 생성기와 판별기를 함께 사용한 정제 목적함수는 생성기만 사용한 경우보다 강건성 향상에 기여하는가?
• RQ4 GAN의 품질이 탐지 및 정제 성능에 미치는 영향은 어떠한가?
• RQ5 이 방어 기법은 분류기의 수정 없이도 플러그인 형태의 사전 처리 단계로 배포 가능한가?

주요 결과

• 모든 테스트된 공격과 데이터셋에서 이상치 샘플은 진짜 샘플보다 판별기 점수가 낮게 매겨지며, 이는 만만 외부의 입력을 탐지할 수 있음을 확인한다.
• FGSM 공격을 당한 SVHN 데이터셋에서, Cowboy를 사용한 정제 후 분류기 정확도가 0.02%에서 0.81%로 향상되었으며, 이는 상당한 강건성 향상을 보여준다.
• 모든 데이터셋과 공격에서 Defense-GAN(생성기만 사용하는 방법)보다 Cowboy가 성능이 뛰어나, 판별기 점수를 통합한 것이 추가적인 가치를 제공한다는 것을 입증한다.
• 잘못 훈련된 GAN이라도 탐지 성능이 높게 유지되어, GAN 훈련의 불안정성에 대해 강건함을 보인다.
• 더 나은 GAN 훈련이 이루어질수록 정제 성능이 향상되지만, 초기 훈련 단계에서도 탐지 성능이 효과적으로 유지되어 실용적인 배포 가능성과 함께 확인된다.
• FGSM, BIM, PGDM, MIM, VAM 등의 다양한 공격 유형에 대해도 공격 유형에 맞게 조정 없이도 일반화 성능을 보이며, 이는 이 방어 기법의 보편성과 탄력성을 입증한다.