[논문 리뷰] Cross Modal Retrieval with Querybank Normalisation

Simion-Vlad Bogolin, Ioana Croitoru외 3명|arXiv (Cornell University)|2021. 12. 23.

Multimodal Machine Learning Applications인용 수 4

한 줄 요약

이 논문은 쿼리뱅크 쿼리 임베딩를 사용하여 쿼리-갤러리 유사도를 재정규화함으로써 교차모odal 검색에서 허브니스 문제를 완화하는 비모수적 프레임워크인 Querybank Normalisation (QB-Norm)을 제안한다. Dynamic Inverted Softmax (DIS)를 도입하여 유사도 정규화의 강건성을 향상시키며, 재학습이나 동시 검색 쿼리가 필요 없이 다양한 모델과 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Profiting from large-scale training datasets, advances in neural architecture design and efficient inference, joint embeddings have become the dominant approach for tackling cross-modal retrieval. In this work we first show that, despite their effectiveness, state-of-the-art joint embeddings suffer significantly from the longstanding "hubness problem" in which a small number of gallery embeddings form the nearest neighbours of many queries. Drawing inspiration from the NLP literature, we formulate a simple but effective framework called Querybank Normalisation (QB-Norm) that re-normalises query similarities to account for hubs in the embedding space. QB-Norm improves retrieval performance without requiring retraining. Differently from prior work, we show that QB-Norm works effectively without concurrent access to any test set queries. Within the QB-Norm framework, we also propose a novel similarity normalisation method, the Dynamic Inverted Softmax, that is significantly more robust than existing approaches. We showcase QB-Norm across a range of cross modal retrieval models and benchmarks where it consistently enhances strong baselines beyond the state of the art. Code is available at https://vladbogo.github.io/QB-Norm/.

연구 동기 및 목표

• 교차모달 검색에 사용되는 고차원 공동 임베딩에서 지속적인 허브니스 문제를 해결하기 위해.
• 모델의 미세조정이나 재학습이 필요 없이 성능을 향상시키는 검색 프레임워크를 개발하기 위해.
• 동시에 여러 테스트 쿼리를 확보하지 못하더라도 추론 시 효과적인 허브니스 완화를 가능하게 하기 위해.
• 쿼리뱅크 선택에 민감하지 않은 강건한 유사도 정규화 방법을 설계하기 위해.
• 다양한 모델, 모odal, 벤치마크 간의 일반화 능력을 입증하기 위해.

제안 방법

• QB-Norm는 쿼리뱅크의 갤러리 임베딩를 사용하여 쿼리와 갤러리 샘플 간의 유사도 점수를 재정규화함으로써 허브 노드의 영향을 감소시킨다.
• 쿼리뱅크는 추론 중 갤러리 임베딩에서 구성되며, 재학습 없이도 허브니스 보정이 가능하게 한다.
• Dynamic Inverted Softmax (DIS)는 허브 빈도에 따라 적응적으로 유사도 점수를 조정하는 새로운 정규화 메커니즘으로 도입된다.
• DIS는 온도 역수 파라미터를 사용하여 연화 정도를 제어하며, 최적의 성능는 β=20에서 관찰된다.
• 이 프레임워크는 추론 후 적용되므로, 어떤 사전 학습된 교차모달 임베딩 모델과도 호환된다.
• QB-Norm는 아키텍처 변경이나 추가 학습 없이 유사도 점수만을 기반으로 작동한다.

Figure 1 : Left: The hubness problem. We consider the problem of cross modal retrieval in which queries $q_{1}$ and $q_{2}$ are compared against a gallery of samples, $x_{1}$ and $x_{2}$ . As we show in Sec. 3.2 , the high-dimensional joint embeddings employed by modern methods for cross-modal retri

실험 결과

연구 질문

• RQ1 재학습 없이 현대적인 교차모달 검색 시스템에서 허브니스를 효과적으로 완화할 수 있는가?
• RQ2 추론 시 단일 테스트 쿼리만 이용 가능한 상황에서도 QB-Norm가 여전히 효과적인가?
• RQ3 쿼리뱅크 선택에 민감하지 않으면서 다양한 모델에서 검색 성능을 향상시키는 유사도 정규화 방법을 설계할 수 있는가?
• RQ4 기존의 허브니스 감소 기법과 비교해 QB-Norm는 성능 및 강건성 측면에서 어떻게 다른가?
• RQ5 QB-Norm는 다양한 모달리티와 검색 벤치마크 간에 일반화되는가?

주요 결과

• TT-CE+에 QB-Norm를 적용했을 때, MSR-VTT v2t 검색 작업에서 R@1이 24.6%에서 30.1%로 5.9%p 상승하여 절대적 개선을 이뤘다.
• 동일한 벤치마크에서 R@5는 54.1%에서 61.4%로, R@10은 67.5%에서 73.2%로 상승하였다.
• 이 방법은 텍스트-비디오, 텍스트-이미지, 오디오-텍스트 검색 작업 전반에서 일관되게 검색 성능을 향상시켰다.
• 더 큰 쿼리뱅크에서 성능 포화가 나타나며, 일정 크기 이상에서는 수익 감소가 관찰되었다.
• Dynamic Inverted Softmax (DIS)는 이전의 정규화 방법보다 우수하며, 쿼리뱅크 선택에 대해 강건하여 일부 쿼리뱅크에서 성능 저하가 발생하지 않았다.
• 기존 방법이 다수의 쿼리가 필요로 하는 것과 달리, QB-Norm는 추론 시 단일 쿼리만 존재하더라도 효과성을 유지한다.

Figure 2 : Hubness is pervasive in leading methods for text-video retrieval . The charts depict the distribution of the number of times each gallery video was retrieved by test set queries (x-axes video ids are ordered by decreasing retrieval count). Top row (different models): We report retrieval d