[논문 리뷰] Retrieval-Enhanced Contrastive Vision-Text Models

Ahmet İşcen, Mathilde Caron외 2명|arXiv (Cornell University)|2023. 06. 12.

Multimodal Machine Learning Applications인용 수 4

한 줄 요약

이 논문은 외부 메모리에서 검색한 다중모odal 지식과 CLIP 임베딩을 융합함으로써 zero-shot 세분화된 시각-언어 이해 성능을 햖스시키는 Retrieval-Enhanced Contrastive (RECO) 모델을 제안한다. 단일모달 검색(이미지-이미지 또는 텍스트-텍스트)을 거쳐 다중모달 융합을 수행함으로써, fine-tuning 없이도 Stanford Cars (+10.9), CUB-2011 (+10.2), OVEN (+7.3) 와 같은 도전적인 벤치마크에서 성능을 향상시킨다.

ABSTRACT

Contrastive image-text models such as CLIP form the building blocks of many state-of-the-art systems. While they excel at recognizing common generic concepts, they still struggle on fine-grained entities which are rare, or even absent from the pre-training dataset. Hence, a key ingredient to their success has been the use of large-scale curated pre-training data aiming at expanding the set of concepts that they can memorize during the pre-training stage. In this work, we explore an alternative to encoding fine-grained knowledge directly into the model's parameters: we instead train the model to retrieve this knowledge from an external memory. Specifically, we propose to equip existing vision-text models with the ability to refine their embedding with cross-modal retrieved information from a memory at inference time, which greatly improves their zero-shot predictions. Remarkably, we show that this can be done with a light-weight, single-layer, fusion transformer on top of a frozen CLIP. Our experiments validate that our retrieval-enhanced contrastive (RECO) training improves CLIP performance substantially on several challenging fine-grained tasks: for example +10.9 on Stanford Cars, +10.2 on CUB-2011 and +7.3 on the recent OVEN benchmark, where we even outperform the fine-tuned models on unseen classes.

연구 동기 및 목표

• 표준 대비 시각-언어 모델인 CLIP와 같은 표준 대비 학습 기반의 모델이 달성할 수 있는 성능을 넘어서 세분화된 이미지 및 텍스트 분류의 zero-shot 성능을 향상시키는 것.
• 재학습 또는 미세조정 없이도 외부 지식 검색이 모델 일반화 능력을 향상시킬 수 있는지 탐구하는 것.
• 사전학습 데이터의 커버리지가 부족하여 희귀하거나 세분화된 실체를 인식하는 데 어려움을 겪는 CLIP의 한계를 해결하는 것.
• 대규모 외부 메모리를 활용해 추론 시 모델 표현을 향상시키는 경량화되고 일반적이며 구현 가능한 방법을 설계하는 것.

제안 방법

• 고정된 CLIP 모델에 단일층 융합 트랜스포머를 부착하여, 검색된 지식을 활용해 이미지 및 텍스트 임베딩을 개선한다.
• 단일모달 검색 사용: 이미지 표현을 쿼리로 하여 유사도가 높은 상위-k개의 이미지를 검색하고, 텍스트 표현을 쿼리로 하여 유사도가 높은 상위-k개의 텍스트를 검색한다.
• 검색된 항목(이미지 또는 텍스트)을 원본 쿼리와 융합하여 다층모달 표현을 강화한다.
• 강화된 표현을 정렬하기 위해 WebLI의 정제된 서브셋(61M 예제)을 사용해 대비 학습 설정에서 융합 모듈을 훈련한다.
• 대규모 메모리(예: 1B 항목을 가진 WebLI)에서 효율적인 추론을 위해 근사 k-NN 검색을 활용한다.
• 배포 후 작업 특화 적응 또는 재학습이 필요 없도록 일반 목적성을 유지한다.

실험 결과

연구 질문

• RQ1 표준 대비 학습 기반의 사전학습 방식을 초월해, 외부 지식 검색이 세분화된 시각-언어 작업에서 zero-shot 성능을 향상시킬 수 있는가?
• RQ2 이 경우 지식 검색에 있어 단일모달 검색(이미지-이미지 또는 텍스트-텍스트)이 다중모달 검색보다 성능이 뛰어나게 되는가?
• RQ3 검색된 항목의 수가 성능 및 추론 효율성에 어떤 영향을 미치는가?
• RQ4 재학습 없이도 업데이트된 또는 더 큰 메모리에 일반화할 수 있는가?

주요 결과

• RECO는 CLIP 대비 Stanford Cars에서 +10.9, CUB-2011에서 +10.2, OVEN 벤치마크에서 +7.3의 절대적 성능 향상을 달성한다.
• 단 한 개의 검색 항목만으로도 CLIP를 초월하는 성능 향상을 보이며, k=10에서 성능 향상의趋세가 정체된다.
• 모델은 더 큰, 볼 수 없는 메모리로도 일반화 가능하다: 1%의 WebLI에서만 훈련하고 전체 WebLI에서 평가했을 때 성능 향상이 뚜렷하게 나타난다.
• 동일한 데이터를 사용해 CLIP 위에 별도의 MLP 헤드를 훈련하는 것은 성능 향상을 이룰 수 없었으며, 이는 검색 증강 학습의 우수성을 입증한다.
• 단일모달 검색(이미지-이미지 또는 텍스트-텍스트)은 다중모달 검색보다 더 관련성이 높은 매칭을 생성하여 더 나은 융합 표현을 이끈다.
• 검색 수를 줄여도 성능을 유지할 수 있어, 최소한의 계산 오버헤드로 효율적인 추론이 가능하다.