[논문 리뷰] Generalizable Adversarial Attacks with Latent Variable Perturbation Modelling

Avishek Joey Bose, Andre Cianflone외 1명|arXiv (Cornell University)|2019. 05. 26.

Adversarial Robustness in Machine Learning참고 문헌 37인용 수 5

한 줄 요약

이 논문은 도메인에 관계없이 작동하는 생성적 프레임워크인 GAALV를 제안한다. 이는 백박스 공격에서의 적대적 편향을 확률적 잠재변수 분포로 모델링한다. 변분 자동인코더 유사한 구조를 가진 인코더-디코더 모델을 훈련시켜, 이미지, 텍스트, 그래프 등 다양한 도메인에서 효율적이고 다양한, 제로샷 공격 일반화를 가능하게 하며, 그래프 도메인에서는 최신 기준(SOTA) 성능을 달성하고 다른 도메인에서도 경쟁적인 성능을 보인다.

ABSTRACT

Adversarial attacks on deep neural networks traditionally rely on a constrained optimization paradigm, where an optimization procedure is used to obtain a single adversarial perturbation for a given input example. In this work we frame the problem as learning a distribution of adversarial perturbations, enabling us to generate diverse adversarial distributions given an unperturbed input. We show that this framework is domain-agnostic in that the same framework can be employed to attack different input domains with minimal modification. Across three diverse domains---images, text, and graphs---our approach generates whitebox attacks with success rates that are competitive with or superior to existing approaches, with a new state-of-the-art achieved in the graph domain. Finally, we demonstrate that our framework can efficiently generate a diverse set of attacks for a single given input, and is even capable of attacking extit{unseen} test instances in a zero-shot manner, exhibiting attack generalization.

연구 동기 및 목표

• 제약 최적화 기반 적대적 공격의 한계를 해결하기 위해, 이는 효율적이지 않고 다양성이 없으며 다양한 모odal 간 일반화가 어렵다.
• 재최적화 없이도 새로운 테스트 인스턴스에 대해 효율적이고 제로샷 공격 일반화를 가능하게 하기 위해.
• 편향을 학습 가능한 잠재 분포로 모델링하여 단일 입력에 대해 다양한 적대적 편향을 생성하기 위해.
• 이미지, 텍스트, 그래프 등 다양한 입력 도메인 간 적대적 공격 생성을 하나의 프레임워크로 통합하고, 아키텍처 변경을 최소화하기 위해.
• 효율적인 추론과 재샘플링을 가능하게 하면서도 최신 기준 방법과 비교해도 경쟁적이거나 슈퍼리어한 공격 성공률를 달성하기 위해.

제안 방법

• GAALV는 확률적 잠재변수 z를 가지는 인코더-디코더 아키텍처를 사용하며, 인코더는 입력 x를 잠재 코드로 매핑하고, 디코더는 z에서 적대적 편향 δ를 생성한다.
• 잠재공간이 잘 구조화되고 분리되어 있도록 하는 것을 보장하기 위해, 변분 자동인코더(VAE) 유사 목적과 KL 분산 정규화 항을 사용한다.
• 적대적 예제는 x' = x + δ로 생성되며, δ는 디코더의 출력 분포에서 샘플링된다. 공격 목표는 오분류를 최대화하면서 편향의 크기를 최소화하는 것이다.
• 편향된 입력이 원본과 분포상으로 유사하게 유지되도록 재구성 손실을 사용하고, 모델 f의 오분류를 유도하기 위해 분류 손실을 활용한다.
• 엔드 투 엔드 훈련을 가능하게 하기 위해 재구성 기법을 사용하며, 이는 경감 추론(amortized inference)을 가능하게 한다. 훈련 후 단일 순전파로 적대적 예제를 생성할 수 있다.
• 제로샷 일반화를 위해, 추가 최적화 없이도 학습된 잠재 분포를 활용해 새로운 테스트 입력에 대해 적대적 예제를 생성한다.

실험 결과

연구 질문

• RQ1 잠재변수 모델링 기반의 통합 생성 프레임워크가 이미지, 텍스트, 그래프와 같은 다양한 입력 도메인에서 효과적인 적대적 공격을 달성할 수 있는가?
• RQ2 적대적 편향을 분포로 모델링하면, 재최적화 없이도 새로운 테스트 인스턴스에 대해 효율적인 제로샷 공격 일반화가 가능한가?
• RQ3 프레임워크는 단일 입력에 대해 다양한 적대적 예제를 생성할 수 있으며, 공격에 실패했을 경우 재샘플링이 가능할까?
• RQ4 제약 최적화 기반 최신 기준 공격 방법과 비교해 본다면, 공격 성공률 및 효율성 측면에서 제안된 방법의 성능는 어떠한가?
• RQ5 기존 방법이 큰 도전에 부딪히는 그래프 도메인에서 프레임워크는 최신 기준 성능을 달성할 수 있는가?

주요 결과

• GAALV는 직접 공격에서 Cora 그래프 데이터셋에서 93%의 새로운 최신 기준 공격 성공률를 기록했으며, 이는 이전 방법들인 Zugner(훈련에서는 99%를 기록했지만, 테스트에서는 낮은 성능)를 뛰어넘었다.
• CiteSeer 데이터셋에서 GAALV는 직접 공격 시 92%의 성공률, 인플루언서 공격 시 54%의 성공률를 기록했으며, 이는 이전 최신 기준 방법(인플루언서 공격에서 38%)을 크게 뛰어넘었다.
• 이미지 도메인에서는 CIFAR-10 테스트 세트에서 81%의 공격 성공률를 기록했으며, PGD 및 Carlini-Wagner 공격와 비교해도 경쟁적인 성능였고, 제로샷 일반화가 가능했다.
• IMDB 텍스트 벤치마크에서는 GAALV-Diff가 테스트 세트에서 61%의 성공률를 기록했으며, 이는 전체 테스트 세트에서 최초로 스케일이 가능하고 고성능인 공격를 실현한 사례로, 최신 기준 성능을 보였다.
• GAALV는 강력한 제로샷 일반화 성능를 보였으며, 추가 최적화 없이도 새로운 테스트 인스턴스를 성공적으로 공격했고, Cora의 직접 공격에서 기준 방법 대비 성공률가 최대 61% 향상되었다.
• 프레임워크는 효율적인 재샘플링을 가능하게 했으며, IMDB에서 공격에 실패한 경우 재샘플링으로 71%의 성공률를 기록했으며, 이는 다양성이 공격 회피에 유리함을 보여주었다.