[논문 리뷰] Universal Perturbation Attack Against Image Retrieval

Jie Li, Rongrong Ji외 4명|arXiv (Cornell University)|2018. 12. 03.

Adversarial Robustness in Machine Learning참고 문헌 42인용 수 13

한 줄 요약

이 논문은 이미지 검색 시스템에 대한 최초의 유니버설 적대적 편향(UAP) 공격을 제안하며, 특징 공간 내 이웃 관계를 손상시켜 검색 성능을 열등하게 만든다. 다중 척도 랜덤 리사이징과 랭킹 디스틸레이션을 활용하여, 다양한 데이터셋에서 상당한 mAP 및 mP@10 감소를 이룩하였고, 실세계 시스템인 구글 이미지까지 성공적으로 속일 수 있었다.

ABSTRACT

Universal adversarial perturbations (UAPs), a.k.a. input-agnostic perturbations, has been proved to exist and be able to fool cutting-edge deep learning models on most of the data samples. Existing UAP methods mainly focus on attacking image classification models. Nevertheless, little attention has been paid to attacking image retrieval systems. In this paper, we make the first attempt in attacking image retrieval systems. Concretely, image retrieval attack is to make the retrieval system return irrelevant images to the query at the top ranking list. It plays an important role to corrupt the neighbourhood relationships among features in image retrieval attack. To this end, we propose a novel method to generate retrieval-against UAP to break the neighbourhood relationships of image features via degrading the corresponding ranking metric. To expand the attack method to scenarios with varying input sizes or untouchable network parameters, a multi-scale random resizing scheme and a ranking distillation strategy are proposed. We evaluate the proposed method on four widely-used image retrieval datasets, and report a significant performance drop in terms of different metrics, such as mAP and mP@10. Finally, we test our attack methods on the real-world visual search engine, i.e., Google Images, which demonstrates the practical potentials of our methods.

연구 동기 및 목표

• 이미지 분류와는 달리 데이터 포맷, 목표, 입력 크기 변동성, 모델 출력 구조에서 근본적으로 다름에도 불구하고, 이미지 검색 시스템을 대상으로 하는 유니버설 적대적 공격의 부재를 해결하기 위해.
• 딥 특징 공간 내 개별, 쌍, 리스트 기반의 이웃 관계를 손상시켜 검색 순위 품질을 열등하게 만들 수 있는 UAP을 개발하기 위해.
• 모델 파라미터에 접근할 수 없는 블랙박스 환경과 입력 크기 변동성에 대비한 강건성을 확보하기 위해.
• 실세계 시스템(예: 구글 이미지)에서 공격를 평가하여 실용적 타당성과 영향력을 입증하기 위해.

제안 방법

• 특징 공간 내 유사도 구조를 조작하여 이웃 관계를 손상시키는 유니버설 편향 생성 프레임워크를 제안하며, 가장 가까운 및 가장 먼 그룹의 튜플 기반 구성 방식을 사용한다.
• 실세계 검색 시스템에서 흔히 발생하는 다양한 입력 크기 변화에 대비해 전이성과 강건성을 향상시키기 위해 다중 척도 랜덤 리사이징 전략을 도입한다.
• 네트워크 파라미터에 접근할 수 없는 상황에서도 블랙박스 공격을 가능하게 하기 위해, 서로서 모델을 사용해 편향 최적화를 이끌어내는 코arse-to-fine 랭킹 디스틸레이션 전략을 적용한다.
• 입력 이미지는 동적으로 리사이징되며, 순전파 과정에서 실세계의 변동성을 시뮬레이션하고, 편향에 대해서만 기울기 기반 최적화를 수행한다.
• 특징 공간 내 양성 샘플 간의 유사도를 최소화하고, 음성 샘플 간의 유사도를 최대화하는 손실 함수를 설계하여, 검색 순위 성능을 효과적으로 열등하게 만든다.
• 청결한 이미지에 편향를 적용하고, 결과적으로 발생하는 특징 이동을 측정하여 mAP 및 mP@10과 같은 검색 메트릭의 열등함을 평가한다.

실험 결과

연구 질문

• RQ1 이미지 분류 레이블이 아닌 순위 및 유사도 관계에 의존하는 이미지 검색 시스템에 대해, 유니버설 적대적 편향가 효과적으로 적용될 수 있는가?
• RQ2 실세계 이미지 검색 시스템에서 흔한 입력 크기 변동성에 대비해 유니버설 편향를 어떻게 강건하게 만들 수 있는가?
• RQ3 모델 파라미터에 접근할 수 없는 상황에서 이미지 검색 모델에 효과적인 블랙박스 공격을 위해 어떤 전략을 사용할 수 있는가?
• RQ4 이러한 편향가 오즈포드5k 및 파리6K와 같은 표준 벤치마크에서 검색 성능을 어느 정도 열등하게 만들 수 있는가?
• RQ5 제안된 공격가 실세계 시각 검색 엔진(예: 구글 이미지)을 성공적으로 속일 수 있는가?

주요 결과

• 제안된 방법은 여러 모델과 데이터셋에서 상당한 mAP 및 mP@10 감소를 달성하였으며, 파리6K 데이터셋에서 A-GeM 기준 51.41%의 mAP와 V-GeM 기준 55.02%의 mAP를 기록하였다.
• 다중 척도 랜덤 리사이징 전략은 고정 크기 리사이징 대비 공격 성공률를 향상시켰으며, 균형 잡힌 척도 범위에서 최적 성능을 보였다.
• 구글 이미지에서 검색 결과의 62.85%가 부재함을 나타내어, 청결한 쿼리에서 얻은 상위 100개 이미지 중 62.85%가 손상된 쿼리 결과에서 존재하지 않았다.
• 다른 모델(예: MAC 대비 GeM 풀링)에서 훈련된 편향는 서로 다른 외관을 보였지만, 동일한 모델 유형에서 유도된 편향는 시각적으로 유사성을 보였으며, 이는 모델 간 전이 가능성의 증거로 볼 수 있다.
• 공격는 점별, 쌍별, 리스트 기반의 세 가지 관계 유형 모두에 효과적이었으며, 이웃 구조의 손상이 실질적인 공격 벡터로 작용할 수 있음을 입증하였다.
• 랭킹 디스틸레이션 전략은 효과적인 블랙박스 공격를 가능하게 하였으며, 타겟 모델의 파라미터에 접근할 수 없더라도 서로서 모델이 편향 생성을 이끌 수 있음을 보여주었다.