[논문 리뷰] Functional Adversarial Attacks

Cassidy Laidlaw, Soheil Feizi|arXiv (Cornell University)|2019. 05. 29.

Adversarial Robustness in Machine Learning참고 문헌 31인용 수 58

한 줄 요약

논문은 기능적 적대적 위협 모델, 특히 이미지용 ReColorAdv를 도입하고 기능적 위협과 addtive 위협을 결합하면 각각보다 더 강한 공격이 가능하다고 보여준다.

ABSTRACT

We propose functional adversarial attacks, a novel class of threat models for crafting adversarial examples to fool machine learning models. Unlike a standard $\ell_p$-ball threat model, a functional adversarial threat model allows only a single function to be used to perturb input features to produce an adversarial example. For example, a functional adversarial attack applied on colors of an image can change all red pixels simultaneously to light red. Such global uniform changes in images can be less perceptible than perturbing pixels of the image individually. For simplicity, we refer to functional adversarial attacks on image colors as ReColorAdv, which is the main focus of our experiments. We show that functional threat models can be combined with existing additive ($\ell_p$) threat models to generate stronger threat models that allow both small, individual perturbations and large, uniform changes to an input. Moreover, we prove that such combinations encompass perturbations that would not be allowed in either constituent threat model. In practice, ReColorAdv can significantly reduce the accuracy of a ResNet-32 trained on CIFAR-10. Furthermore, to the best of our knowledge, combining ReColorAdv with other attacks leads to the strongest existing attack even after adversarial training. An implementation of ReColorAdv is available at https://github.com/cassidylaidlaw/ReColorAdv .

연구 동기 및 목표

• 특정 기능적 적대적 위협 모델이라는 새로운 위협 모델 분류를 제안한다.
• 기능적 위협이 추가 위협과 결합되어 교란 공간을 확장하는 방식을 보인다.
• 색상을 전역적으로 교란하는 실용적 구현체로서 이미지를 대상으로 하는 ReColorAdv를 개발한다.
• 지각적 영향 분석 및 다양한 방어 하에서 기존 공격과의 비교를 수행한다.
• 기능적 적대적 공격에 대한 방어에 대한 권고를 제공한다.

제안 방법

• 교란을 지각 불가능하게 유지하기 위한 기능적 위협 모델과 규제화 스킴을 정의한다.
• 추가적 위협 모델과 기능적 위협 모델의 결합이 각각의 모델만으로는 불가능한 교란을 만들어낸다는 것을 증명한다.
• 이산 격자와 삼중 선형 보간을 통해 모든 픽셀 색상에 매개변수화된 교란 함수 f를 적용하는 ReColorAdv를 도입한다.
• Lagrangian 이완과 PGD 최적화를 통해 색 공간 특성(차분 및 부드러움) 제약을 강제한다.
• ResNet-32를 가진 CIFAR-10 및 Inception-v4를 가진 ImageNet에서의 ReColorAdv 평가, adversarial training 시나리오 포함.
• 공격 강도와 지각 품질 측면에서 RGB와 지각적으로 균일한 CIELUV 색공간 비교를 수행한다.

실험 결과

연구 질문

• RQ1 기능적 위협 모델이 추가적 위협만으로는 허용되지 않는 지각 불가능한 교란을 가능하게 할 수 있는가?
• RQ2 기능적 및 추가적 위협 모델의 결합이 위협 교란의 상위집합을 만들어 강도를 향상시키는가?
• RQ3 ReColorAdv가 방어된 모델과 미방어된 모델에 대해 얼마나 효과적이며 색 공간 선택이 결과에 영향을 주는가?
• RQ4 다른 공격과의 결합이 adversarial training 이후의 적대적 강건성에 어떤 영향을 주는가?

주요 결과

Attack	Defense	None	C-RGB	C	D	S	C+S	C+D	S+D	C+S+D	TRADES
Undefended	92.2	5.9	3.0	0.0	0.9	0.8	0.0	0.0	0.0
C	88.7	43.5	45.8	5.7	3.6	3.4	0.9	0.2	0.2
D	84.8	74.9	50.6	30.6	16.0	11.7	8.9	2.7	2.2
S	82.7	16.9	8.0	0.5	26.2	4.8	0.0	0.1	0.0
C+S	89.5	31.7	23.0	0.7	10.9	8.7	0.5	0.6	0.4
C+D	88.5	36.3	19.5	7.5	2.7	2.8	5.2	4.1	4.6
S+D	82.1	66.9	42.7	35.4	21.9	13.4	12.2	7.6	4.1
C+S+D	88.9	30.6	17.2	7.3	3.5	3.3	5.5	3.7	3.6
TRADES	84.4	81.3	59.2	53.6	26.6	17.5	22.0	8.6	5.7

• 기능적 위협 모델은 특징 의존성으로 인해 지각 불가능한 큰 균일 교란을 가능하게 한다.
• 추가적 위협 모델과 기능적 위협 모델의 결합은 어느 하나의 모델에만 속한 교란을 포함하지 않는 교란을 생성한다.
• 이미지 색상에 교란 함수를 적용하는 ReColorAdv는 CIFAR-10의 ResNet-32 정확도를 3.0%로 낮출 수 있으며, 다른 공격과 결합 시 adversarial training 후 3.6%까지 떨어뜨릴 수 있다.
• CIELUV 색 공간은 RGB보다 강하고 덜 지각되는 ReColorAdv 교란을 유도하여 공격력을 향상시킨다.
• ReColorAdv를 StAdv 및 델타 공격과 결합하면 adversarial training(TRADES) 하에서도 가장 강한 공격을 자주 만들어낸다.
• 그레이스케일 전처리는 ReColorAdv에 대해 효과적으로 방어하지 못하며 자연 정확도와 강건 정확도를 감소시킬 수 있다.