[논문 리뷰] Maximal Jacobian-based Saliency Map Attack

Rey Reza Wiyatno, Anqi Xu|arXiv (Cornell University)|2018. 08. 23.

Adversarial Robustness in Machine Learning참고 문헌 14인용 수 62

한 줄 요약

본 논문은 Non-Targeted JSMA (NT-JSMA)와 Maximal JSMA (M-JSMA)를 제안하여 자코비 기반 살리언시 맵 공격의 유연한 변형으로 고정된 대상 클래스나 섭동 방향의 필요성을 제거하고, MNIST, Fashion-MNIST, CIFAR-10 데이터셋 전반에서 효과를 입증한다.

ABSTRACT

The Jacobian-based Saliency Map Attack is a family of adversarial attack methods for fooling classification models, such as deep neural networks for image classification tasks. By saturating a few pixels in a given image to their maximum or minimum values, JSMA can cause the model to misclassify the resulting adversarial image as a specified erroneous target class. We propose two variants of JSMA, one which removes the requirement to specify a target class, and another that additionally does not need to specify whether to only increase or decrease pixel intensities. Our experiments highlight the competitive speeds and qualities of these variants when applied to datasets of hand-written digits and natural scenes.

연구 동기 및 목표

• 원래 JSMA의 한계를 극복하고 대상 클래스를 지정해야 하는 요구사항과 섭동 방향의 필요성을 제거한다는 동기를 부여한다.
• 대상 클래스를 두지 않고 비목표지향 오 misclassification 을 가능하게 하기 위해 NT-JSMA를 제안한다.
• 더 빠르고 높은 품질의 적대 사례를 얻기 위해 모든 클래스 대상과 두 가지 섭동 방향을 탐색하는 M-JSMA를 제안한다.
• MNIST, Fashion-MNIST, CIFAR-10에서 제안된 변형들을 평가하여 적대 예시의 효율성과 지각적 유사성을 비교한다.

제안 방법

• 고정된 대상 클래스와 섭동 방향의 필요성을 완화하는 변형을 도입하여 자코비 기반 살리언시 맵 공격 프레임워크를 검토하고 확장한다.
• 최대 살리언시 쌍을 식별하기 위해 살리언시 측정치와 픽셀-쌍 섭동 전략을 정의한다.
• NT-JSMA 변형은 선택된 대상 신경망의 자신감(또는 대상 비의도적 전략)을 증가시키기보다는 실제 클래스 확신도를 감소시키는 방향으로 작동한다.
• 모든 대상 클래스와 두 방향을 동시에 고려하는 Maximal JSMA (M-JSMA)를 도입하고, 진동을 방지하기 위한 추가 이력 벡터를 제공한다.
• 대상 간 가장 눈에 띄는 픽셀 쌍을 선택하고 엡실론- 이웃에서 잘려진 섭동을 적용하는 알고리즘(Algorithm 1)을 제공한다.
• 세 가지 데이터셋에서 성공률, L0 및 L2 거리, 소프트맥스 엔트로피를 사용하여 변형들을 평가한다.

실험 결과

연구 질문

• RQ1 JSMA를 목표 비의도적으로 만들 수 있으면서 공격 효율성과 지각 품질을 보존할 수 있는가?
• RQ2 섬동 방향을 지정할 필요를 제거하는 것이 여러 데이터셋에서 실용적인 공격 성능을 개선하는가?
• RQ3 비목표지향 및 최대 버전은 MNIST, Fashion-MNIST, CIFAR-10에서 속도(반복)와 지각적 유사성(L2) 측면에서 어떻게 비교되는가?
• RQ4 제안된 변형들이 방어적 증류나 다른 일반적인 신경망 방어에 대해 강건한가?

주요 결과

• M-JSMA는 일반적으로 JSMA 변형들보다 더 빠른 속도(더 적은 픽셀 변경)로 비교 가능하거나 더 나은 적대 사례를 찾아내며 모든 대상 클래스와 두 방향을 모두 다룰 수 있다.
• NT-JSMA 변형은 고정된 대상 클래스의 필요 없이 경쟁력 있는 공격 성능을 제공하며 수렴이나 품질에서 약간의 손실만을 동반한다.
• 데이터셋 전반에 걸쳐 픽셀 강도를 증가시키는 버전이 감소시키는 버전보다 수렴이 빠른 경향을 보였고, 감소 버전은 더 어두운 이미지 배경으로 인해 지각적 유사성이 더 좋을 때가 많았다.
• 픽셀 감소 변형(JSMA-F/NT-JSMA-F)은 더 작은 L2 섭동을 생성하는 경향이 있었고, 반면 목표 Z 기반 변형은 때때로 적대 예측의 불확실성(더 낮은 엔트로피)을 제공했다.
• M-JSMA는 MNIST, Fashion-MNIST, CIFAR-10 전반에 걸쳐 강한 수렴 속도와 고품질의 적대 사례를 달성하며, 유사한 반복에서 지각적 지표에서 다른 변형들보다 종종 우수하다.
• 방어 증류(T=100)는 F-변형의 효과를 크게 감소시키는 반면, Z-기반 변형은 증류된 모델에서도 여전히 성공할 수 있어 변형별로 방어에 대한 강건성이 다름을 시사한다.
• 피처당 섭동 크기를 더 작게( |θ|=0.1, ε=0.5 )하는 것은 더 많은 반복으로 비용이 들지만 지각적 거리를 줄이며, M-JSMA는 여전히 우수한 성능을 유지한다.