[논문 리뷰] Candidate Set Re-ranking for Composed Image Retrieval with Dual Multi-modal Encoder

Zheyuan Liu, Weixuan Sun외 2명|arXiv (Cornell University)|2023. 05. 25.

Multimodal Machine Learning Applications인용 수 6

한 줄 요약

이 논문은 먼저 빠른 벡터 유사도를 사용해 후보를 필터링하고, 그 다음 참조 이미지, 텍스트 쿼리, 후보 간의 상호작용을 명시적으로 모델링하는 듀얼 다중모달 인코더를 사용해 상위 후보들을 재순서 정렬하는 이단계 구성 이미지 검색 방법을 제안한다. 이 방법은 효율성과 세밀한 다중모달 추론을 결합함으로써 Fashion-IQ 및 CIRR 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Composed image retrieval aims to find an image that best matches a given multi-modal user query consisting of a reference image and text pair. Existing methods commonly pre-compute image embeddings over the entire corpus and compare these to a reference image embedding modified by the query text at test time. Such a pipeline is very efficient at test time since fast vector distances can be used to evaluate candidates, but modifying the reference image embedding guided only by a short textual description can be difficult, especially independent of potential candidates. An alternative approach is to allow interactions between the query and every possible candidate, i.e., reference-text-candidate triplets, and pick the best from the entire set. Though this approach is more discriminative, for large-scale datasets the computational cost is prohibitive since pre-computation of candidate embeddings is no longer possible. We propose to combine the merits of both schemes using a two-stage model. Our first stage adopts the conventional vector distancing metric and performs a fast pruning among candidates. Meanwhile, our second stage employs a dual-encoder architecture, which effectively attends to the input triplet of reference-text-candidate and re-ranks the candidates. Both stages utilize a vision-and-language pre-trained network, which has proven beneficial for various downstream tasks. Our method consistently outperforms state-of-the-art approaches on standard benchmarks for the task. Our implementation is available at https://github.com/Cuberick-Orion/Candidate-Reranking-CIR.

연구 동기 및 목표

• 구성 이미지 검색(CIR)에서 추론 효율성과 분류 능력 사이의 상충 관계를 해결하기 위해.
• 삼중항 모델링을 통해 쿼리와 후보 간의 명시적 상호작용을 가능하게 하여 검색 정확도를 향상시키기 위해.
• 빠른 사전 필터링과 계산 비용이 더 높은 재순서 정렬 단계를 조합함으로써 수용 가능한 추론 시간을 유지하기 위해.
• CIR에 대해 시각-언어 사전학습 모델을 듀얼 인코더 아키텍처에서 효과적으로 활용하기 위해.

제안 방법

• 이 방법은 이단계 파이프라인을 사용한다: 먼저 후보 집합 크기를 줄이기 위해 빠른 벡터 거리 기반 필터링을 수행한다.
• 필터링 단계는 쿼리 수정된 참조 임베딩과 사전에 계산된 후보 임베딩 간의 코사인 유사도를 계산한다.
• 재순서 정렬 단계는 참조 이미지, 텍스트 쿼리, 후보 이미지의 삼중항을 함께 고려하는 듀얼 인코더 아키텍처를 사용한다.
• 듀얼 인코더 모델은 다중모달 트랜스포머 인코더를 통해 세 입력을 처리하여 정교화된 관련성 점수를 계산한다.
• 두 단계 모두 강력한 특징 표현을 보장하기 위해 시각-언어 사전학습 백본을 기반으로 구축된다.
• 최종 예측은 재순서 정렬된 상위-K 후보들 중 가장 높은 관련성 점수를 가진 후보에서 선택된다.

실험 결과

연구 질문

• RQ1 이단계 접근 방식은 구성 이미지 검색에서 추론 효율성과 분류 능력의 균형을 잘 맞출 수 있는가?
• RQ2 참조-텍스트-후보 간의 명시적 삼중항 상호작용이 간접적 특징 수정 대비 검색 정확도 향상에 얼마나 효과적인가?
• RQ3 최소한의 성능 저하로 듀얼 인코더 아키텍처가 구성 이미지 검색에서 다중모달 상호작용을 효과적으로 모델링할 수 있는가?
• RQ4 재순서 정렬 단계에서 후보 집합 크기(K)와 추론 비용 사이의 최적의 트레이드오프는 무엇인가?
• RQ5 재순서 정렬 단계가 초기 필터링 단계에 비해 Recall과 Precision 측면에서 얼마나 향상되는가?

주요 결과

• 제안된 방법은 Fashion-IQ 및 CIRR 벤치마크에서 모두 최신 기술 수준(SOTA) 성능을 달성하며, 기존 SOTA 방법을 능가한다.
• 재순서 정렬 단계는 단순히 필터링된 결과에 비해 평균 Recall을 약 5个百分点 향상시킨다.
• Fashion-IQ에서는 재순서 정렬 단계의 추론 시간이 필터링 단계보다 약 8배 느리며, CIRR에서는 약 35배 느리다.
• 필터링 모듈은 쉽게 식별되는 부정 예측을 효과적으로 제거한다. 정성적 결과에서 상위-6개 필터링된 후보들이 이미 참조 이미지와 유사한 것으로 나타났다.
• CIRR의 정성적 예시 4개 중 3개에서 재순서 정렬 모델이 진짜 타겟을 앞서게 하였으며, 고양이와 같은 추가된 객체나 도서관과 같은 새로운 시점 요소를 탐지하는 데 특히 뛰어난 성능을 보였다.
• 합성 추론이 필요한 경우, 예를 들어 'with'를 올바르게 해석해 동시에 두 개의 개체를 식별해야 할 경우, 실패 사례(Figure 4의 (d)번)에서 모델이 실패한다.