[논문 리뷰] Who's Afraid of Adversarial Queries? The Impact of Image Modifications on Content-based Image Retrieval

Zhuoran Liu, Zhengyu Zhao외 1명|arXiv (Cornell University)|2019. 01. 29.

Adversarial Robustness in Machine Learning참고 문헌 40인용 수 5

한 줄 요약

이 논문은 레이블이 없는 데이터를 요구하지 않고 콘텐츠 기반 이미지 검색(CBIR) 시스템을 붕괴시키는 데 효과적인 새로운 비지도 신경 편향 방법인 PIRE(Perturbations for Image Retrieval Error)를 소개한다. PIRE는 신경, 局부, 전역 특징을 모두 활용하여 Oxford5k 및 Paris6k 데이터셋에서 mAP를 최대 80%까지 감소시켜, 다양한 특징 유형에 걸쳐 강력한 적대적 영향을 입증한다.

ABSTRACT

An adversarial query is an image that has been modified to disrupt content-based image retrieval (CBIR) while appearing nearly untouched to the human eye. This paper presents an analysis of adversarial queries for CBIR based on neural, local, and global features. We introduce an innovative neural image perturbation approach, called Perturbations for Image Retrieval Error (PIRE), that is capable of blocking neural-feature-based CBIR. PIRE differs significantly from existing approaches that create images adversarial with respect to CNN classifiers because it is unsupervised, i.e., it needs no labelled data from the data set to which it is applied. Our experimental analysis demonstrates the surprising effectiveness of PIRE in blocking CBIR, and also covers aspects of PIRE that must be taken into account in practical settings, including saving images, image quality and leaking adversarial queries into the background collection. Our experiments also compare PIRE (a neural approach) with existing keypoint removal and injection approaches (which modify local features). Finally, we discuss the challenges that face multimedia researchers in the future study of adversarial queries.

연구 동기 및 목표

• 사람의 눈으로는 시각적으로 구분되지 않지만 관련 결과를 검색하지 못하는, 콘텐츠 기반 이미지 검색(CBIR)에서의 적대적 쿼리의 타당성과 영향을 조사한다.
• 대상 데이터셋의 레이블이나 관련성 평가가 필요 없는 적대적 쿼리를 생성하는 방법을 개발하여, CBIR에서 의사결정 경계 정보의 부족 문제를 해결한다.
• 신경, 局부(SIFT), 전역(CEDD/GIST) 특징을 사용하여 PIRE의 신경 편향이 CBIR 시스템에 얼마나 효과적인지 평가한다.
• 이미지 품질, 시각적 정밀도, 그리고 적대적 편향이 배경 컬렉션으로 유출될 위험과 같은 실용적 과제를 분석한다.
• 적대적 쿼리의 双중 역할 — 보안 방어의 대상이 되는 위협과 멀티미디어 시스템에서의 프라이버시 보호 도구로의 역할을 탐색한다.

제안 방법

• PIRE는 대상 데이터셋의 레이블이나 관련성 주석을 사용하지 않고, 검색 성능을 최소화하기 위해 픽셀 수준의 편향을 최적화하여 적대적 쿼리를 생성하는 비지도 신경 편향 방법이다.
• 이 방법은 입력 이미지 픽셀에 대한 기울기를 계산하기 위해 딥 네트워크를 사용하여, 시각적 유사성을 유지하면서 검색 정확도를 떨어뜨리는 타겟된 편향을 가능하게 한다.
• PIRE는 대조 손실 목적함수를 사용하여 훈련되며, 이는 편향된 쿼리가 CBIR 시스템에서 원본 쿼리보다 낮게 순위 매겨지도록 유도한다.
• 이 접근법은 딥 네트워크 특징(VGG 등) 기반, 국소 SIFT 특징 기반, 전역 CEDD/GIST 특징 기반의 다수의 CBIR 시스템에서 평가된다.
• PIRE는 기준선 방법인 가우시안 노이즈 및 关건점 제거/삽입(KR&I) 기법과 비교되어 상대적 효과성을 평가한다.
• 전체 이미지 및 바운딩 박스 쿼리 모두를 사용하여 Oxford5k 및 Paris6k 표준 벤치마크에서 실험하여 쿼리 유형에 걸쳐 내구성을 평가한다.

실험 결과

연구 질문

• RQ1 대상 데이터셋의 레이블이나 관련성 평가가 없이도 CBIR 시스템에 대해 적대적 쿼리를 생성할 수 있는가?
• RQ2 PIRE는 신경, 국소(SIFT), 전역(CEDD/GIST) 특징 유형에 걸쳐 검색 성능 저하에 얼마나 효과적인가?
• RQ3 이미지 품질 악화 및 편향이 배경 컬렉션으로 퍼져나갈 위험과 같은 실용적 제약은 무엇인가?
• RQ4 기존 기법인 관건점 제거 및 삽입(KR&I) 및 가우시안 노이즈와 비교해 PIRE의 효과성은 어떠한가?
• RQ5 이미지 편집 또는 압축 후에도 적대적 편향이 얼마나 유지되는가?

주요 결과

• PIRE는 신경 특징 기반으로 Oxford5k의 mAP를 74.42에서 T=500일 때 2.54로 감소시켜 검색 정확도가 80% 이상 급격히 떨어지는 것을 입증한다.
• 전역 특징(CEDD/GIST) 기반으로는 Oxford5k에서 mAP를 19.29에서 14.71로, Paris6k에서 18.30에서 12.11로 감소시켜 강력한 차단 능력을 보였다.
• 가우시안 노이즈는 Oxford5k에서 mAP를 단지 2.97 포인트 감소시키는 데 그치지만, PIRE는 이에 비해 훨씬 더 심각한 영향을 미쳐 타겟된 적대적 성격을 확인한다.
• 이미지 편집(예: 자르기, 크기 조정) 후 PIRE의 효과성이 감소함을 확인하여, 실생활 변형에서는 적대적 쿼리의 영향력이 떨어질 수 있음을 시사한다.
• 관건점 제거 및 삽입(KR&I) 기법은 PIRE보다 이미지 편집에 더 강건함을 보였으며, 공격 강도와 내구성 사이의 상충 관계를 시사한다.
• 연구 결과, CBIR 성능이 조그만 수준으로라도 저하되면(예: mAP 20-30% 감소), 악성 사용을 저지할 수 있음을 확인하여, 적대적 쿼리의 프라이버시 보호 잠재력이 높음을 시사한다.