[논문 리뷰] Unsupervised Adversarial Attacks on Deep Feature-based Retrieval with GAN

Guoping Zhao, Mingyu Zhang외 2명|arXiv (Cornell University)|2019. 07. 12.

Adversarial Robustness in Machine Learning참고 문헌 42인용 수 24

한 줄 요약

이 논문은 깊이 학습 기반 이미지 검색 시스템을 공격하기 위해 비감독적 생성 적대적 네트워크인 UAA-GAN을 제안한다. 이는 쿼리에 특화된 인식할 수 없는 적대적 편향을 생성한다. 레이블이 없는 데이터로 훈련함으로써 UAA-GAN은 미세하고 현실적인 편향을 생성하여 검색 성능을 극적으로 떨어뜨린다. 예를 들어 ResNet50에서 mAP가 0.01 이하로 떨어지며, 원본 쿼리 이미지와의 시각적 유사성은 유지된다.

ABSTRACT

Studies show that Deep Neural Network (DNN)-based image classification models are vulnerable to maliciously constructed adversarial examples. However, little effort has been made to investigate how DNN-based image retrieval models are affected by such attacks. In this paper, we introduce Unsupervised Adversarial Attacks with Generative Adversarial Networks (UAA-GAN) to attack deep feature-based image retrieval systems. UAA-GAN is an unsupervised learning model that requires only a small amount of unlabeled data for training. Once trained, it produces query-specific perturbations for query images to form adversarial queries. The core idea is to ensure that the attached perturbation is barely perceptible to human yet effective in pushing the query away from its original position in the deep feature space. UAA-GAN works with various application scenarios that are based on deep features, including image retrieval, person Re-ID and face search. Empirical results show that UAA-GAN cripples retrieval performance without significant visual changes in the query images. UAA-GAN generated adversarial examples are less distinguishable because they tend to incorporate subtle perturbations in textured or salient areas of the images, such as key body parts of human, dominant structural patterns/textures or edges, rather than in visually insignificant areas (e.g., background and sky). Such tendency indicates that the model indeed learned how to toy with both image retrieval systems and human eyes.

연구 동기 및 목표

• 깊이 학습 기반 이미지 검색 시스템이 局부 편향에 대해 강건함에도 불구하고, 적대적 공격에 취약한지 조사하기 위해.
• 대상 검색 모델의 기울기 또는 레이블에 접근할 필요 없이, 레이블이 없는 데이터만으로 효과적인 적대적 예제를 생성하는 비감독 방법을 개발하기 위해.
• 생성된 적대적 편향이 시각적으로 인식할 수 없지만 검색 성능을 극적으로 손상시키는 데 효과적이어야 하므로.
• 다양한 깊이 학습 특징 추출기와 풀링 기법 간에 적대적 예제의 전이 가능성 평가하기 위해.
• GAN 아키텍처 내의 판별기(discriminator)가 편향의 현실성과 인지 품질을 향상시키는 방식 분석하기 위해.

제안 방법

• UAA-GAN은 조건부 GAN 아키텍처를 사용하며, 생성자는 훈련에 레이블이 없는 이미지만을 사용하여 쿼리에 특화된 편향을 생성한다.
• 생성자는 편향된 쿼리의 깊이 특징 표현과 목표 특징 공간 간의 거리를 최소화하도록 훈련되어, 원래의 이웃들로부터 멀어지도록 유도된다.
• 판별기는 인지적 현실성을 강제하여, 편향이 배경 영역이 아닌 눈에 띄는 영역(예: 인간 신체 부위, 윤곽선)에 집중되도록 유도한다.
• 적대적 손실과 특징 공간 대비 손실을 조합하여 엔드 투 엔드로 훈련함으로써, 인식 불가능성과 공격 효과성을 모두 확보한다.
• 생성자는 각 입력 쿼리에 맞게 맞춤형 편향을 생성하므로, 재학습 없이도 어떤 쿼리 이미지도 적용할 수 있다.
• 다양한 검색 작업에서 평가된다: 이미지 검색(Oxford5k, Paris), 인물 재식별(Market1501, DukeMTMC-ReID), 얼굴 검색(FaceScrub).

실험 결과

연구 질문

• RQ1 깊이 학습 기반 이미지 검색 시스템은 전역 풀링과 불변 표현 덕분에 분류 모델보다 더 강건함에도 불구하고, 적대적 공격에 효과적으로 적용될 수 있는가?
• RQ2 모델 기울기 또는 레이블에 접근할 필요 없이, 비감독 방법이 검색 시스템에 대해 적대적 예제를 생성할 수 있는가?
• RQ3 생성된 적대적 예제는 다양한 깊이 학습 특징 추출기와 풀링 함수 간에 전이 가능한가?
• RQ4 GAN 아키텍처 내의 판별기가 편향의 인지적 품질과 현실성에 어떤 영향을 미치는가?
• RQ5 편향이 인간의 시각적 주의를 끄는 영역(예: 눈에 띄는 영역)에 집중함으로써, 뚜렷하지 않은 영역보다 인간의 시각 인지에 어떻게 영향을 미치는가?

주요 결과

• UAA-GAN은 검색 성능을 극적으로 악화시킨다: ResNet50에서 Market1501과 DukeMTMC-ReID에서 mAP가 0.010 이하로 떨어져 시스템의 거의 완전한 실패를 나타낸다.
• 더 강건한 MGN 모델에서도 Market1501에서 mAP가 0.116로, DukeMTMC-ReID에서는 0.045로 떨어져 다양한 아키텍처에서 공격의 효과성을 입증한다.
• 얼굴 검색에서는 SphereFace의 Rank-1 정확도가 0.713에서 0.215로 떨어지고, Rank-10 정확도는 0.5 이하로 떨어져 검색에서 거의 완전한 실패를 보였다.
• UAA-GAN의 판별기는 눈에 띄는 영역(예: 신체 부위, 윤곽선)에 편향을 집중시켜, 판별기가 없는 GAN보다 시각적 급격함을 줄여 편향 품질을 향상시킨다.
• 동일한 네트워크 아키텍처 내에서의 전이 가능성은 강력하며, 예를 들어 VGG-MAC에서 VGG-RMAC로 전이했을 때 mAP가 0.788에서 0.515로 떨어졌다.
• 다른 아키텍처 간 전이 가능성은 약간 약하지만 여전히 효과적이며, VGG-GeM에서 ResNet 기반 모델을 공격했을 때 mAP가 0.860에서 0.449로 떨어졌다.