[논문 리뷰] Thinking Fast and Slow: Efficient Text-to-Visual Retrieval with Transformers

Antoine Miech, Jean-Baptiste Alayrac외 3명|arXiv (Cornell University)|2021. 03. 30.

Multimodal Machine Learning Applications참고 문헌 89인용 수 130

한 줄 요약

논문은 빠른 이중 인코더 모델과 느린 교차 어텐션 트랜스포머를 증류와 재정렬을 통해 결합하여 확장 가능한 고정밀 텍스트-비전 검색을 달성합니다. 또한 COCO, Flickr30K, VATEX 데이터셋에서 미세한 교차 어텐션, 특징 업샘플링, 양방향 캡션 학습 objective를 도입하고 이를 검증합니다.

ABSTRACT

Our objective is language-based search of large-scale image and video datasets. For this task, the approach that consists of independently mapping text and vision to a joint embedding space, a.k.a. dual encoders, is attractive as retrieval scales and is efficient for billions of images using approximate nearest neighbour search. An alternative approach of using vision-text transformers with cross-attention gives considerable improvements in accuracy over the joint embeddings, but is often inapplicable in practice for large-scale retrieval given the cost of the cross-attention mechanisms required for each sample at test time. This work combines the best of both worlds. We make the following three contributions. First, we equip transformer-based models with a new fine-grained cross-attention architecture, providing significant improvements in retrieval accuracy whilst preserving scalability. Second, we introduce a generic approach for combining a Fast dual encoder model with our Slow but accurate transformer-based model via distillation and re-ranking. Finally, we validate our approach on the Flickr30K image dataset where we show an increase in inference speed by several orders of magnitude while having results competitive to the state of the art. We also extend our method to the video domain, improving the state of the art on the VATEX dataset.

연구 동기 및 목표

• 대규모 이미지/비디오 데이터셋에서 확장 가능한 검색을 통한 언어 기반 검색 동기 부여.
• 정확한 교차 어텐션을 통해 이익을 얻는 빠르고 인덱싱 가능한 이중 인코더를 개발.
• 빠른 결과를 느린 교차 어텐션 모델로 재정렬하여 정확도 향상.
• 미세한 교차 어텐션 아키텍처와 캡션 기반 학습 목표를 도입.
• 이미지 및 비디오 검색 데이터셋에서 확장성과 최첨단 성능 유사한 성과를 시연

제안 방법

• 이미지-텍스트 검색을 위한 빠른 이중 인코더(DE)와 느린 교차 어텐션(CA) 모델 정의.
• 세밀한 비전-언어 교차 어텐션을 가능하게 하는 새로운 점진적 특징 업샘플링 아키텍처 도입.
• 저지향 회귀를 위한 CA 모델의 검색 학습을 위한 양방향 캡션 학습 손실 사용.
• 샘플링된 이미지-텍스트 쌍에 대해 교사-학생 증류 objective를 사용하여 느린 CA 모델의 지식을 빠른 DE 모델로 증류.
• 빠른 DE 검색과 느린 CA 재정렬을 결합하여 빠른 모델의 상위-K 후보를 선택하고 느린 모델로 재정렬(Eq. 9).
• 선택적으로 쿼리 시점에 재정렬 단계를 적용하여 CA 효율성을 개선할 수 있음.

실험 결과

연구 질문

• RQ1 교차 어텐션 모델이 인덱싱과 확장성을 유지하면서 텍스트-비전 검색을 개선할 수 있는가?
• RQ2 느린 교차 어텐션 모델에서 증류된 지식이 인덱싱 가능성을 해치지 않으면서 빠른 이중 인코더를 개선할 수 있는가?
• RQ3 상위-K 빠른 결과에 대해 느린 모델로 재정렬하는 단계가 상당한 지연 없이 실질적인 정확도 향상을 가져올 수 있는가?
• RQ4 캡션 기반 학습 목표가 전통적인 대비/목적 손실과 비교하여 검색에 대해 경쟁력 있는 성능을 보이는가?
• RQ5 점진적 특징 업샘플링이 비전-언어 검색에서 미세한 근거 제시에 어떤 영향을 미치는가?]
• RQ6 key_findings:[]
• RQ7 key_findings번역브리핑: [
• RQ8 교차 어텐션 모델은 일반적으로 검색 벤치마크에서 이중 인코더보다 우수한 성능을 보이나, 증류를 통한 이중 인코더가 격차를 좁힐 수 있다.
• RQ9 양방향 캡션 목표는 검색에 경쟁적인 결과를 제공하며 때로는 표준 교차 모달 일치 손실보다 우수하다.
• RQ10 고해상도 시각 특징의 점진적 업샘플링은 기반 교차 어텐션 모델에 비해 R@1과 R@5를 크게 향상시킨다.
• RQ11 Slow CA를 Fast DE로 증류하면 COCO에서 R@1에서 10포인트 넘게 개선되며 느린 모델과의 격차를 줄일 수 있다.
• RQ12 상위-K 빠른 결과를 느린 모델로 재정렬하면 속도 증가와 함께 최첨단에 근접한 성능을 달성한다(예: COCO에서 느린 모델 단독보다 약 100배 빠름).
• RQ13 Fast+Slow 접근은 이미지 데이터셋(COCO, Flickr30K)에서 강한 성능을 보이고 비디오(VATEX)로 효과적으로 확장된다.

주요 결과

• 교차 어텐션 모델은 검색 벤치마크에서 일반적으로 이중 인코더보다 우수하지만, 증류를 통해 이중 인코더의 격차를 좁힐 수 있다.
• 양방향 캡션 목표는 검색에 경쟁력 있는 결과를 낳으며 때로는 표준 교차 모달 매칭 손실을 능가한다.
• 고해상도 시각 특징의 점진적 업샘플링은 기준 교차 어텐션 모델에 비해 R@1과 R@5를 크게 개선한다.
• Slow CA를 Fast DE로 증류하면 COCO에서 R@1이 10포인트 이상 향상되고 느린 모델과의 격차를 줄인다.
• 상위-K 빠른 결과를 느린 모델로 재정렬하면 지연을 크게 줄이면서도 상태-와-비슷한 성능을 달성한다(예: COCO에서 Slow 단독 대비 ~100x 속도 증가).
• Fast+Slow 접근은 이미지 데이터셋(COCO, Flickr30K)에서 강한 결과를 보여주고 비디오(VATEX)로도 효과적으로 확장된다.