[논문 리뷰] Contextual Similarity Aggregation with Self-attention for Visual Re-ranking

Jianbo Ouyang, Hui Wu외 3명|arXiv (Cornell University)|2021. 10. 26.

Advanced Image and Video Retrieval Techniques인용 수 4

한 줄 요약

이 논문은 상위 랭크된 이미지 간의 맥락적 유사도를 통합하여 인스턴스 이미지 검색 성능을 햖을 수 있는 자기주의 기반 시각적 재순서 정렬 방법을 제안한다. 상위-L 앵커와의 유사도를 통해 유사도 특징을 구성하고, 변환기 인코더를 사용하여 상호 이미지 맥락을 포착함으로써 이를 개선한 후, 개선된 특징을 사용해 후보들을 재순서 정렬한다. 이는 네 가지 벤치마크에서 낮은 계산 오버헤드로 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

In content-based image retrieval, the first-round retrieval result by simple visual feature comparison may be unsatisfactory, which can be refined by visual re-ranking techniques. In image retrieval, it is observed that the contextual similarity among the top-ranked images is an important clue to distinguish the semantic relevance. Inspired by this observation, in this paper, we propose a visual re-ranking method by contextual similarity aggregation with self-attention. In our approach, for each image in the top-K ranking list, we represent it into an affinity feature vector by comparing it with a set of anchor images. Then, the affinity features of the top-K images are refined by aggregating the contextual information with a transformer encoder. Finally, the affinity features are used to recalculate the similarity scores between the query and the top-K images for re-ranking of the latter. To further improve the robustness of our re-ranking model and enhance the performance of our method, a new data augmentation scheme is designed. Since our re-ranking model is not directly involved with the visual feature used in the initial retrieval, it is ready to be applied to retrieval result lists obtained from various retrieval algorithms. We conduct comprehensive experiments on four benchmark datasets to demonstrate the generality and effectiveness of our proposed visual re-ranking method.

연구 동기 및 목표

• 쌍별 유사도 기반 재순서 정렬에서 종종 忽시되는 상위 랭크된 이미지 간의 맥락적 유사도를 활용하여 인스턴스 이미지 검색 성능을 향상시키는 것.
• 기존 시각적 특징 추출 파이프라인에 종속되지 않는 재순서 정렬 방법을 개발하여 다양한 검색 알고리즘과의 호환성을 확보하는 것.
• 재순서 정렬 작업을 위한 새로운 데이터 증강 전략을 통해 모델의 강건성과 일반화 능력을 향상시키는 것.
• 데이터베이스 전체 연산을 피하고 상위-K 검색 목록 크기만으로 확장되도록 하여 낮은 계산 비용으로 높은 성능을 달성하는 것.

제안 방법

• 상위-K 이미지 각각에 대해 상위-L 결과에서 선별된 L개의 앵커 이미지와의 유사도를 측정하여 유사도 특징을 계산한다.
• 변환기 인코더가 다른 상위-K 후보들을 참조함으로써 유사도 특징 간의 유사도 기반 맥락적 관계를 모델링함으로써 유사도 특징을 동적으로 개선한다.
• 유사한 이미지 간의 유사도를 증가시키기 위해 대trastive 손실을, 원래 유사도 특징을 유지하기 위해 MSE 손실을 사용하여 과적합을 방지한다.
• 학습 중 과적합을 줄이고 모델 일반화 능력을 향상시키기 위해 새로운 데이터 증강 전략을 도입한다.
• 추론 과정에서는 개선된 유사도 특징을 사용해 쿼리와 상위-K 후보 간의 코사인 유사도 점수 재계산을 통해 최종 순서 정렬을 수행한다.
• 초기 검색 특징에 종속되지 않아 어떤 검색 파이프라인과도 즉시 통합 가능한 플러그 앤 플레이 성격을 지닌다.

실험 결과

연구 질문

• RQ1 상위 랭크된 이미지 간의 맥락적 유사도를 모델링하면 쌍별 유사도를 초월해 시각적 재순서 정렬 성능을 향상시킬 수 있는가?
• RQ2 자기주의 메커니즘이 다수의 상위 랭크된 이미지로부터 맥락 정보를 효과적으로 집약하여 재순서 정렬 점수를 개선할 수 있는가?
• RQ3 초기 특징 추출 방법에 종속되지 않으면서도 높은 성능을 유지할 수 있는 재순서 정렬 모델을 설계할 수 있는가?
• RQ4 새로운 데이터 증강 전략이 재순서 정렬 모델의 강건성과 일반화 능력에 어떤 영향을 미치는가?
• RQ5 대규모 데이터베이스에서 기존의 재순서 정렬 접근 방식과 비교해 제안된 방법은 효율성과 확장성 측면에서 어떻게 다른가?

주요 결과

• 제안된 방법은 네 가지 벤치마크 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성했으며, LAttQE, DFS, GSS와 같은 기존 재순서 정렬 방법보다 대부분의 설정에서 뛰어난 성능을 보였다.
• 선도적인 쿼리 확장 기반 방법인 LAttQE보다도 높은 성능을 달성하여 맥락적 유사도 집약의 효과성을 입증했다.
• DFS 또는 GSS와 조합할 경우 제안된 재순서 정렬 방법이 검색 성능을 추가로 향상시켜, 뛰어난 호환성과 상호보완성을 보였다.
• 데이터 증강을 적용한 모델은 이를 적용하지 않은 베이스라인보다 높은 성능을 보였으며, 제안된 증강 전략의 효과성을 확인했다.
• DFS나 GSS와 같은 최신 기술 수준의 방법보다 시간 및 메모리 복잡도가 낮으며, 데이터베이스 크기와 무관한 지연 시간을 가지며 상위-K 목록 크기만으로 확장된다.