[논문 리뷰] RetrievalGuard: Provably Robust 1-Nearest Neighbor Image Retrieval

Yihan Wu, Hongyang Zhang외 1명|arXiv (Cornell University)|2022. 06. 17.

Advanced Image and Video Retrieval Techniques인용 수 4

한 줄 요약

RetrievalGuard는 $\varepsilon$-유계 $\sigma$-노름 적대적 편향에 대해 Recall@1이 변하지 않는 것을 보장하는 최초의 증명 가능하게 강건한 1-최근접 이웃(1-NN) 이미지 검색 프레임워크이다. 이는 기본 모델의 임bedding 공간에 고정밀 스무딩을 적용하여, 계산 가능한 증명 가능 반경을 갖는 리프시츠 유계 스무딩 임베딩을 통해 증명 가능 강건성을 달성한다.

ABSTRACT

Recent research works have shown that image retrieval models are vulnerable to adversarial attacks, where slightly modified test inputs could lead to problematic retrieval results. In this paper, we aim to design a provably robust image retrieval model which keeps the most important evaluation metric Recall@1 invariant to adversarial perturbation. We propose the first 1-nearest neighbor (NN) image retrieval algorithm, RetrievalGuard, which is provably robust against adversarial perturbations within an $\ell_2$ ball of calculable radius. The challenge is to design a provably robust algorithm that takes into consideration the 1-NN search and the high-dimensional nature of the embedding space. Algorithmically, given a base retrieval model and a query sample, we build a smoothed retrieval model by carefully analyzing the 1-NN search procedure in the high-dimensional embedding space. We show that the smoothed retrieval model has bounded Lipschitz constant and thus the retrieval score is invariant to $\ell_2$ adversarial perturbations. Experiments on image retrieval tasks validate the robustness of our RetrievalGuard method.

연구 동기 및 목표

• 1-NN 이미지 검색 모델이 Recall@1을 떨어뜨리는 적대적 편향에 대한 취약성을 해결하기 위해.
• 모든 $\sigma$-유계 $\sigma$-노름 적대적 공격 하에서도 Recall@1이 변화하지 않는 것을 보장하는 증명 가능 강건한 프레임워크를 개발하기 위해.
• 원래 분류 작업을 위해 설계된 랜덤화 스무딩을 고차원 임베딩 공간으로 확장하여 검색 작업에 적용하기 위해.
• 모델 독립적이고 계산 가능한 강건성 반경을 제공하는 증명 가능한 방어 기법을 제공하기 위해.
• 다양한 임베딩 차원과 노이즈 수준에서의 강건성-정확도 트레이드오프 및 방법의 확장성에 대한 실증적 검증을 위해.

제안 방법

• 기본 이미지 검색 모델의 임베딩 출력에 고정밀 스무딩을 적용하여, 편향된 입력에 대한 몬테카를로 평균을 통해 스무딩 모델 $g(x)$를 생성한다.
• 스무딩된 임베딩를 $g(x) = \mathbb{E}_{\xi \sim \mathcal{N}(0, \sigma^2 I)}[h(x + \xi)]$로 정의하며, 여기서 $h(\cdot)$는 기본 인코더이다.
• 스무딩 모델 $g$가 유계 리프시츠 상수를 갖는 것을 증명하여, 작은 $\sigma$-노름 편향이 1-NN 결과를 변경하지 않음을 보장한다.
• 각 입력에 대해 스무딩된 임베딩를 추정하고 증명 가능 반경을 계산하기 위해 $n = 100,000$개의 몬테카를로 샘플링을 사용한다.
• 신뢰도 임계값 $\alpha = 0.01$을 사용하여 증명 가능 반경 $r(x; g)$를 결정하여, 모든 $\delta$에 대해 $\|\delta\|_2 \leq r(x; g)$일 때 1-NN 결과가 보장적으로 변화하지 않도록 한다.
• 기본 메트릭 학습 모델(DML/GDML)을 스무딩 이전에 훈련하기 위해 마진 손실를 사용하며, 하이퍼파라미터로 $\beta = 1.2$, $\gamma = 0.2$, $\sigma = 1$를 설정한다.

실험 결과

연구 질문

• RQ1 랜덤화 스무딩은 출력이 이산 레이블이 아닌 고차원 임베딩인 1-NN 이미지 검색에 적응할 수 있는가?
• RQ2 $\sigma$-노름 편향 하에서 1-NN 검색에 대한 증명 가능 강건성 반경의 이론적 한계는 무엇인가?
• RQ3 몬테카를로 샘플 수와 신뢰도 수준 $\alpha$는 증명 가능 강건성 보장의 정확도와 신뢰성에 어떤 영향을 미치는가?
• RQ4 다양한 수준의 고정밀 노이즈 $\sigma$ 하에서 강건성(증명 가능 반경)과 검색 정확도(Recall@1) 사이의 트레이드오프는 어떠한가?
• RQ5 임베딩 차원 $k$는 증명 가능 강건성과 검색 성능에 어떤 영향을 미치는가?

주요 결과

• RetrievalGuard는 증명 가능 강건성을 달성한다: 임의의 입력 $x$에 대해 $\|\delta\|_2 \leq r(x; g)$인 모든 편향 $\delta$에 대해 1-NN 결과가 변화하지 않는다. 여기서 $r(x; g)$는 계산 가능한 증명 가능 반경이다.
• 모델이 $\sigma = 1$일 때 Online-Products 데이터셋에서 최대 0.85의 증명 가능 반경을 확보하였으며, $r$이 증가함에 따라 Recall@1(r)가 약간만 감소하였다.
• 반환 거부 비율(증명 가능한 예측에서의 잘못된 부정)은 $n=10,000$일 때 14%에서 $n=100,000$일 때 4%로 감소하여 안정적이고 신뢰할 수 있는 추정임을 시사한다.
• 몬테카를로 샘플 수를 1,000에서 100,000으로 늘임으로써 Recall@1(r)가 크게 향상되었지만, 1,000,000으로 추가 증가시켜도 수익 감소 효과가 나타났다.
• 다양한 신뢰도 수준 $\alpha$에 대해 모델은 강건하며, $\alpha \in \{0.01, 0.05, 0.1\}$일 때 Recall@1(r)가 안정적으로 유지되어 $\alpha$에 대한 민감도가 낮음을 보여준다.
• 더 큰 임베딩 차원 $k$(예: $k=128$)는 강건성을 향상시키며, 고차원 공간에서는 비유사 샘플 간의 마진이 더 커져 $\underline{d}(x; g)$가 증가하기 때문이다.