[논문 리뷰] Sentence-level Prompts Benefit Composed Image Retrieval

Yang Bai, Xinxing Xu외 6명|arXiv (Cornell University)|2023. 10. 09.

Multimodal Machine Learning Applications인용 수 5

한 줄 요약

이 논문은 BLIP-2와 같은 사전 훈련된 시각-언어 모델을 사용하여 기준 이미지와 상대적 캡션으로부터 풍부하고 기술적인 문장 수준 프롬프트를 생성하는 새로운 방법인 문장 수준 프롬프트를 위한 복합 이미지 검색(SPRC)을 제안한다. 이러한 프롬프트를 상대적 캡션과 연결함으로써 표준 텍스트 기반 이미지 검색 모델을 사용한 효과적인 검색을 가능하게 하며, 특히 객체 제거 및 속성 수정과 같은 복잡한 변화에 대해 이전의 후기 융합 및 가짜 단어 기반 방법들을 능가한다. Fashion-IQ 및 CIRR 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Composed image retrieval (CIR) is the task of retrieving specific images by using a query that involves both a reference image and a relative caption. Most existing CIR models adopt the late-fusion strategy to combine visual and language features. Besides, several approaches have also been suggested to generate a pseudo-word token from the reference image, which is further integrated into the relative caption for CIR. However, these pseudo-word-based prompting methods have limitations when target image encompasses complex changes on reference image, e.g., object removal and attribute modification. In this work, we demonstrate that learning an appropriate sentence-level prompt for the relative caption (SPRC) is sufficient for achieving effective composed image retrieval. Instead of relying on pseudo-word-based prompts, we propose to leverage pretrained V-L models, e.g., BLIP-2, to generate sentence-level prompts. By concatenating the learned sentence-level prompt with the relative caption, one can readily use existing text-based image retrieval models to enhance CIR performance. Furthermore, we introduce both image-text contrastive loss and text prompt alignment loss to enforce the learning of suitable sentence-level prompts. Experiments show that our proposed method performs favorably against the state-of-the-art CIR methods on the Fashion-IQ and CIRR datasets. The source code and pretrained model are publicly available at https://github.com/chunmeifeng/SPRC

연구 동기 및 목표

• 기존의 복합 이미지 검색(CIR) 방법이 객체 제거 및 속성 수정과 같은 복잡한 시각적 변화를 다루는 데에 한계가 있음을 해결하기 위해.
• 짧고 단일 토큰 표현으로 인해 기준 이미지 내 다수의 객체를 분리하지 못하는 가짜 단어 기반 프롬프팅의 단점을 극복하기 위해.
• 더 정확하고 표현력 있는 이미지 변화 기술을 위해 시각적 및 언어적 맥락을 모두 활용하는 새로운 프롬프팅 전략을 제안하기 위해.
• 문장 수준의 프롬프트가 가짜 단어나 후기 융합보다 우수한 검색 성능을 낼 수 있음을 벤치마크 CIR 데이터셋에서 입증하기 위해.

제안 방법

• 가벼운 Q-Former 모듈을 사용하여 사전 훈련된 시각-언어 모델(예: BLIP-2)을 활용해 기준 이미지와 상대적 캡션으로부터 문장 수준의 프롬프트를 생성한다.
• 생성된 문장 수준 프롬프트를 상대적 캡션과 연결하여 검색을 위한 향상된 텍스트 쿼리로 구성한다.
• 이미지-텍스트 대비 손실과 텍스트 프롬프트 일치 손실을 사용한 이중 손실을 통해 프롬프트 생성 네트워크를 훈련시켜 의미 일致성과 정확성을 확보한다.
• 이미지 특징과 캡션 임베딩을 입력으로 받아 맥락 기반의 문장 수준 기술을 생성하는 Q-Former을 텍스트 프롬프트 생성 네트워크로 사용한다.
• 균형 조정 하이퍼파ram터 γ를 통해 일치 손실의 가중치를 조정하여 프롬프트가 시각적 및 언어적 정보를 모두 유지하도록 최적화한다.
• 전체 시스템을 엔드 투 엔드로 미세조정하여 CIR 벤치마크에서 프롬프트 품질과 검색 성능을 향상시킨다.

Figure 1: Workflows of existing CIR methods and Ours: (a) Late fusion, (b) pseudo-word embedding, and (c) our proposed method. It can be seen that late fusion and pseudo-word embedding are limited in handling the cases where multiple objects are involved in the reference image and complex changes, e

실험 결과

연구 질문

• RQ1 이미지와 캡션에서 유도된 문장 수준 프롬프트가 가짜 단어 기반 또는 후기 융합 방법보다 복합 이미지 검색 성능을 향상시키는가?
• RQ2 문장 수준 프롬프트의 길이가 검색 성능와 계산 비용에 어떤 영향을 미치는가?
• RQ3 프롬프트 생성 과정에서 이미지와 캡션 특징을 함께 모델링하면 객체 제거와 같은 복잡한 시각적 변화의 분리가 더 잘 이루어지는가?
• RQ4 CIR 과정에서 이미지와 텍스트 감독 간의 최적의 균형은 무엇인가?
• RQ5 기존의 텍스트 기반 이미지 검색 모델이 문장 수준 프롬프트 증강을 통해 CIR에 효과적으로 재사용될 수 있는가?

주요 결과

• 제안된 SPRC 방법은 Fashion-IQ 및 CIRR 데이터셋 모두에서 최신 기술 수준의 성능을 달성하며, 복잡한 시각적 변화를 다루는 데에 앞서 있는 기존 방법들을 능가한다.
• Fashion-IQ에서 SPRC는 Recall@1이 54.39%, Recall@5가 84.76%, Recall@10이 91.25%를 기록하여 기준선을 크게 능가한다.
• CIRR에서 SPRC는 평균 Recall 81.27%를 달성하여 이전 방법들을 초월하며, 특히 객체 제거 및 속성 수정을 포함한 도전적인 케이스에서 뛰어난 성능을 보였다.
• 절단 실험 결과, 프롬프트 길이가 32 토큰 이하일 때까지 성능 향상과 정확한 상관관계가 있으며, 그 이상에서는 수익 감소가 관찰되었다.
• γ = 0.8일 때 일치 손실가 최적의 성능을 내며, 이는 시각적 및 언어적 감독 간 균형 조절이 프롬프트 품질에 매우 중요하다는 것을 시사한다.
• 캡션 전용 프롬프트(Ours RC)와 이미지 전용 프롬프트(Ours RI)보다 성능이 뛰어나, 이미지-캡션 공동 모델링의 필요성을 확인한다.

Figure 2: Overall pipeline of our proposed SPRC . (a) Illustration of the training phase, where proper sentence-level prompts are integrated into the relative captions thereby providing essential textual prompts containing information about the objects depicted in the reference images and their rela