[논문 리뷰] Big but Imperceptible Adversarial Perturbations via Semantic Manipulation.

Anand Bhattad, Min Jin Chong외 3명|arXiv (Cornell University)|2019. 04. 12.

Adversarial Robustness in Machine Learning참고 문헌 20인용 수 21

한 줄 요약

이 논문은 허용 가능한 크기 제한 없이 색상과 질감과 같은 의미적 이미지 특징을 조작함으로써 사진처럼 현실적인, 크기가 큰 대비 공격을 위한 새로운 유형의 적대적 편향을 제안한다. 기존의 $$\mathcal{L}_p$$-제한 공격과는 달리, 이러한 의미적 편향은 인간에게 눈에 띄지 않으며 ImageNet과 MSCOCO에서 JPEG 압축, 특징 압축, 적대적으로 훈련된 모델과 같은 방어 기법을 효과적으로 회피한다.

ABSTRACT

Machine learning models, especially deep neural networks (DNNs), have been shown to be vulnerable against adversarial examples which are carefully crafted samples with a small magnitude of the perturbation. Such adversarial perturbations are usually restricted by bounding their $\mathcal{L}_p$ norm such that they are imperceptible, and thus many current defenses can exploit this property to reduce their adversarial impact. In this paper, we instead introduce unrestricted perturbations that manipulate semantically meaningful image-based visual descriptors - color and texture - in order to generate effective and photorealistic adversarial examples. We show that these semantically aware perturbations are effective against JPEG compression, feature squeezing and adversarially trained model. We also show that the proposed methods can effectively be applied to both image classification and image captioning tasks on complex datasets such as ImageNet and MSCOCO. In addition, we conduct comprehensive user studies to show that our generated semantic adversarial examples are photorealistic to humans despite large magnitude perturbations when compared to other attacks.

연구 동기 및 목표

• 현재의 적대적 공격가 작은, $$\mathcal{L}_p$$-제한된 편향에 의존함으로써 그 크기가 작아 방어 기법에 취약한 점을 해결하고자 한다.
• 색상과 질감과 같은 의미적으로 유의미한 이미지 기술자(특징)를 조작하여, 크기는 크지만 인간에게 눈에 띄지 않는 적대적 예제를 생성할 수 있는지 탐구하고자 한다.
• JPEG 압축, 특징 압축, 적대적 훈련과 같은 강력한 방어 기법에 효과적인 사진처럼 현실적인 적대적 예제를 생성하는 방법을 개발하고자 한다.
• ImageNet과 MSCOCO와 같은 복잡한 데이터셋에서 이미지 분류 및 이미지 캡션 생성과 같은 다양한 작업에 대해 의미적 편향의 효과를 평가하고자 한다.
• 사용자 연구를 통해 인간의 시각적 유사성 인식을 검증하여, 크기가 큰 편향에도 불구하고 편향된 예제가 시각적으로 자연스럽고 현실적인지 입증하고자 한다.

제안 방법

• 이 방법은 원시 픽셀 공간이 아닌 의미적 이미지 기술자 공간—특히 색상 히스토그램과 질감 패턴—에서 편향을 최적화함으로써 적대적 공격를 수립한다.
• 사진처럼 현실적인 느낌을 유지하면서 모델의 잘못된 분류를 극대화하기 위해, 가분성 있는 이미지 변환 파이프라인을 사용해 색상 히스토그램과 질감 패턴을 조작한다.
• 공격 프레임워크는 대상 모델의 교차 엔트로피 손실을 극대화하면서도, 인간의 시각적 유사성 측정 기준을 활용해 편향이 의미적으로 타당하도록 제약을 둔다.
• 이 방법은 이미지 분류 및 이미지 캡션 생성 모델에 대해 종단 간(end-to-end)으로 적용되어, 다양한 모델과 데이터셋 간의 전이 가능성(transferability)을 확보한다.
• 사용자 연구를 통해 시각적 유사성의 정확도를 평가하며, 원본 이미지와 편향된 이미지 간의 인간 평가를 비교하여 현실감과 눈에 띄지 않음을 평가한다.
• JPEG 압축(다양한 품질 설정), 특징 압축(공간적 및 색상 전처리를 통한), 적대적으로 훈련된 모델 등의 방어 기법에 대해 평가한다.

실험 결과

연구 질문

• RQ1 색상과 질감과 같은 의미적 속성을 조작하는 크기가 큰 적대적 편향이 인간에게 눈에 띄지 않을 수 있는가?
• RQ2 JPEG 압축 및 특징 압축과 같은 강력한 방어 기법에 대해 의미적 적대적 편향은 얼마나 효과적인가?
• RQ3 의미적 편향은 이미지 분류 및 이미지 캡션 생성과 같은 다양한 모델과 작업 간 얼마나 효과적으로 전이되는가?
• RQ4 의미적 적대적 예제는 전통적인 $$\mathcal{L}_p$$-제한 공격에 비해 인간의 시각적 현실감과 모델 회피 능력 측면에서 어떻게 비교되는가?
• RQ5 의미적 조작을 통해 전통적인 적대적 공격의 허용 범위를 초월하는 크기의 편향을 가진, 높은 사진적 현실감을 유지하는 적대적 예제를 생성할 수 있는가?

주요 결과

• 제안된 의미적 적대적 편향은 적대적 방어 기법을 적용한 모델을 포함한 표준 및 강력한 모델에서 높은 공격 성공률을 달성한다.
• JPEG 압축과 특징 압축에 대해 효과적으로 작동하여 일반적인 전처리 방어 기법에 대한 저항성을 입증한다.
• 사용자 연구 결과, 크기가 큰 편향에도 불구하고 생성된 적대적 예제가 인간 관찰자에게 원본 이미지와 구분되지 않으며 사진처럼 현실적인 것으로 인식됨을 확인했다.
• 이 방법은 이미지 분류 및 이미지 캡션 생성 작업에서 ImageNet과 MSCOCO 데이터셋 모두에 대해 모델 간 및 작업 간 강력한 전이성을 확보했다.
• 일반적인 $$\mathcal{L}_p$$-제한 공격에 비해 일반적인 방어 메커니즘을 적용했을 때 훨씬 더 강력한 저항성을 보였다.
• 색상과 질감의 의미적 조작은 효과적이면서도 시각적으로 자연스러운 적대적 예제를 가능하게 하여, 눈에 띄지 않기 위해서는 작은 편향이 필요하다는 가정을 도전한다.