[논문 리뷰] Towards Imperceptible and Robust Adversarial Example Attacks against Neural Networks

Bo Luo, Yannan Liu외 2명|arXiv (Cornell University)|2018. 01. 15.

Adversarial Robustness in Machine Learning참고 문헌 18인용 수 21

한 줄 요약

이 논문은 인간 시각 감도를 모델링하고 노이즈 내성도를 최대화함으로써 정밀도와 내성성을 동시에 향상시키는 새로운 적대적 공격 방법을 제안한다. 시각적으로 인지하기 어려운 거리 척도와 탐욕적 최적화 전략을 도입함으로써, 물리 세계의 왜곡에 대해 뛰어난 내성을 확보하였으며, 강한 가우시안 노이즈 조건에서 FGSM, JSMA, L-BFGS보다 최대 36% 높은 성공률(표준편차=0.25일 때 62% 대 21.5%)을 기록하였다.

ABSTRACT

Machine learning systems based on deep neural networks, being able to produce state-of-the-art results on various perception tasks, have gained mainstream adoption in many applications. However, they are shown to be vulnerable to adversarial example attack, which generates malicious output by adding slight perturbations to the input. Previous adversarial example crafting methods, however, use simple metrics to evaluate the distances between the original examples and the adversarial ones, which could be easily detected by human eyes. In addition, these attacks are often not robust due to the inevitable noises and deviation in the physical world. In this work, we present a new adversarial example attack crafting method, which takes the human perceptual system into consideration and maximizes the noise tolerance of the crafted adversarial example. Experimental results demonstrate the efficacy of the proposed technique.

연구 동기 및 목표

• 기존의 적대적 공격 방법이 단순한 Lp-노름 거리 척도에 의존하여 인간의 시각 감도를 고려하지 못하고, 결과적으로 쉽게 탐지 가능한 변형을 생성한다는 한계를 해결한다.
• 노이즈, 압축, 변환 등의 물리적 왜곡으로 인해 공격 성공률가 저하되는 현실 세계에서 적대적 예제의 내성을 향상시킨다.
• 응용 분야에 특화된 이전 방법의 한계를 극복하고 다양한 신경망 응용 분야에 일반적으로 적용 가능한 공격 프레임워크를 개발한다.
• 변형의 위치에 있어서 시각 감도와 노이즈 내성 간의 균형을 고려하여, 동시에 정밀도와 내성을 최적화한다.

제안 방법

• 사용자 시각 감도를 모델링하는 새로운 시각적 거리 척도를 도입하여, 변동성이 높은 영역에는 높은 내성도를 부여하고, 균일한 영역에는 낮은 감도를 부여한다.
• 목표 클래스의 확률과 두 번째로 높은 클래스의 확률 간의 신뢰도 갭을 최대화하는 최적화 목표를 설정함으로써 공격 성공률과 내성을 향상시킨다.
• 시각적 내성도가 높은 픽셀을 선택하고 최적 크기의 변형을 적용함으로써 노이즈에 대한 저항력을 극대화하면서도 정밀도를 유지하는 탐욕적 알고리즘을 제안한다.
• 물리적 변환(예: JPEG 압축, 가우시안 노이즈, 블러링, 밝기/대trast 조정) 후에도 여전히 잘못 분류되는 적대적 예제의 비율을 기반으로 내성도 척도를 정의한다.
• 실제 왜곡을 시뮬레이션하기 위해 복합 전환 함수 $Tran(*)$ 를 사용하여 다양한 물리 조건 하에서 성공률을 평가한다.
• CIFAR-10 및 MNIST 데이터셋에 대해 동일한 평가 프rotocol를 사용하여 FGSM, JSMA, L-BFGS와의 성능을 비교한다.

실험 결과

연구 질문

• RQ1 표준 Lp-노름과 비교해 시각적으로 인지 가능한 거리 척도가 적대적 예제의 정밀도 향상에 기여하는가?
• RQ2 노이즈 내성도 최적화가 JPEG 압축 및 가우시안 노이즈와 같은 물리적 왜곡 조건에서 적대적 예제의 내성에 어떤 영향을 미치는가?
• RQ3 제안된 방법이 다양한 이미지 변환 조건에서 기존 공격 방식(FGSM, JSMA, L-BFGS)보다 정밀도와 내성도 측면에서 얼마나 뛰어나게 성능을 발휘하는가?
• RQ4 제안된 방법은 다양한 신경망 응용 분야에 일반화 가능한가, 아니면 얼굴 또는 도로 표지판 인식과 같은 특정 용도에 국한되는가?
• RQ5 시각적 정밀도와 내성도 사이의 상충 관계는 무엇이며, 통합 최적화 프레임워크를 통해 두 요소를 동시에 극대화할 수 있는가?

주요 결과

• 표준편차 0.05인 가우시안 노이즈 조건에서 제안된 방법은 98.5%의 성공률을 기록하였으며, JSMA(98.25%), L-BFGS(86.8%), FGSM(82.5%)를 모두 상회한다.
• 최고 수준의 노이즈 강도(표준편차=0.25)에서 제안된 방법은 여전히 62%의 성공률을 유지하였으며, FGSM(21.5%), L-BFGS(28.6%), JSMA(33.2%)보다 뚜렷하게 높은 성능을 보였다.
• JPEG 압축 조건에서는 제안된 방법이 76%의 성공률을 기록한 반면, FGSM은 단지 52.3%에 머물러, 손실 압축에 대한 뛰어난 내성을 입증하였다.
• 노이즈 강도가 증가할수록 제안된 방법의 내성도 우월성이 더욱 두드러지며, 효과적인 노이즈 내성도 최적화가 이루어졌음을 시사한다.
• 사용자 인식 실험에서는 두 번째로 높은 순위를 기록했음에도 불구하고, JSMA는 더 큰 크기의 희소 변형을 통해 노이즈에 더 강건하여 내성도에서 뛰어난 성능을 보였다.
• 제안된 방법은 정밀도와 내성도를 효과적으로 균형 잡으며, 응용 분야에 특화된 튜닝 없이도 다양한 물리적 변환 조건에서 최신 기술 수준의 성능을 달성하였다.