[논문 리뷰] Image-text Retrieval: A Survey on Recent Research and Development

Min Cao, Shiping Li외 3명|arXiv (Cornell University)|2022. 03. 28.

Advanced Image and Video Retrieval Techniques인용 수 8

한 줄 요약

이 종합 검토는 이미지-텍스트 검색(ITR) 연구에 대한 포괄적이고 최신의 개요를 제공하며, 특징 추출, 특징 정렬, 시스템 효율성, 다중모달 사전학습이라는 네 가지 시각에서 접근 방식을 분류한다. 사전학습 파라다임의 변혁적 영향을 강조하며, 이는 검색 정확도를 크게 향상시켰고, 향후 연구의 핵심 과제로 데이터 노이즈, 공통지식 통합 부족, 자원 효율적인 파라다임이 필요하다는 점을 밝힌다.

ABSTRACT

In the past few years, cross-modal image-text retrieval (ITR) has experienced increased interest in the research community due to its excellent research value and broad real-world application. It is designed for the scenarios where the queries are from one modality and the retrieval galleries from another modality. This paper presents a comprehensive and up-to-date survey on the ITR approaches from four perspectives. By dissecting an ITR system into two processes: feature extraction and feature alignment, we summarize the recent advance of the ITR approaches from these two perspectives. On top of this, the efficiency-focused study on the ITR system is introduced as the third perspective. To keep pace with the times, we also provide a pioneering overview of the cross-modal pre-training ITR approaches as the fourth perspective. Finally, we outline the common benchmark datasets and valuation metric for ITR, and conduct the accuracy comparison among the representative ITR approaches. Some critical yet less studied issues are discussed at the end of the paper.

연구 동기 및 목표

• 일반적인 다중모달 검토를 넘어서 최근의 발전에 중점을 두어 이미지-텍스트 검색(ITR) 방법에 대한 체계적이고 최신의 검토를 제공하는 것.
• 기존 검토의 격차를 메우기 위해 현대 ITR 시스템에서 다중모달 사전학습이 차지하는 주도적 역할을 강조하는 것.
• 특징 추출, 특징 정렬, 시스템 효율성, 사전학습 파라다임이라는 네 가지 별도의 시각에서 ITR 접근 방식을 분석하고 분류하는 것.
• 표준 벤치마크와 메트릭을 사용해 최신 ITR 모델을 평가하고 비교하여 성능 추세를 부각하는 것.
• 데이터 노이즈, 공통지식 통합 부족, 자원 효율적인 소수의 샘플을 위한 ITR 파라다임이 필요한 것과 같은 아직 탐색되지 않은 문제들을 식별하는 것.

제안 방법

• ITR 접근 방식을 네 가지 차원에 따라 분류함: (1) 시각적 의미 임베딩, 교차 어텐션, 또는 자기적응 방법을 통한 특징 추출; (2) 글로벌 또는 로컬 정렬 메커니즘을 통한 특징 정렬; (3) 해싱, 모델 압축, 또는 빠르게-그런 다음-느리게 검색을 통한 시스템 효율성; (4) 모델 아키텍처, 사전학습 작업, 데이터를 분류 기준으로 삼은 사전학습.
• 독립 학습(VSE), 상호작용 어텐션(예: ViLBERT, CLIP), 자기적응 특징 학습을 포함한 특징 추출 기법을 분석함.
• 글로벌 수준의 정렬(예: 대비 손실)과 세밀한 로컬 정렬(예: 토큰 수준의 교차어텐션) 간의 차이를 구분하여 정렬 전략을 검토함.
• 해싱을 통한 압축 표현, 경량 배포를 위한 모델 정밀도, 계층적 검색 파이프라인을 포함한 효율성 최적화된 ITR 시스템을 검토함.
• 아키텍처(예: ViT-BERT), 사전학습 작업(예: 대비 사전학습), 데이터 규모(예: COCO, Conceptual Captions)를 기준으로 사전학습 기반 ITR 방법을 분류함.
• 표준 벤치마크(예: COCO, Flickr30k)에서 R@1, R@5, R@10 등의 메트릭을 사용해 대표적인 ITR 모델을 비교함으로써 2017년에서 2021년까지의 성능 변화 추세를 시각화함.

실험 결과

연구 질문

• RQ1 ITR에서 특징 추출 기법은 어떻게 진화했으며, 시각적 의미 임베딩, 교차어텐션, 자기적응 접근 방식의 강점과 한계는 무엇인가요?
• RQ2 글로벌 정렬과 로컬 정렬 전략 간의 주요 차이는 무엇이며, 이는 검색 정확도에 어떻게 영향을 미치나요?
• RQ3 실제 ITR 구현에 가장 효과적인 효율 전략(해싱, 압축, 빠르게-그런 다음-느리게)은 무엇이며, 정확도와 속도 간의 상충 관계는 어떻게 나타나나요?
• RQ4 다중모달 사전학습은 ITR 성능을 얼마나 향상시켰으며, 사전학습 아키텍처, 작업, 데이터 규모는 결과에 어떤 영향을 미치나요?
• RQ5 데이터 노이즈, 공통지식 통합 부족, 저자원 파라다임을 위한 미세조정이 필요한 것과 같은 중요한 과제들은 무엇이 남아 있나요?

주요 결과

• 대규모 데이터셋과 대비 목표를 활용한 다중모달 사전학습의 도입으로 2020년 이후 R@1 값이 크게 증가하며 ITR 성능에 큰 도약이 있었음.
• CLIP 및 그 변종과 같은 사전학습 기반 ITR 모델은 방대한 양의 이미지-텍스트 쌍에서 학습된 풍부한 다중모달 표현을 활용해 전통적인 ITR 방법을 뛰어넘는 성능을 보임.
• 토큰 수준에서 특징을 정렬하는 로컬 정렬 메커니즘은 글로벌 정렬보다 항상 더 높은 검색 정확도를 달성함. 특히 복잡하거나 모호한 이미지-텍스트 쌍에서 두드러진 성능 향상이 관찰됨.
• 해싱과 모델 압축과 같은 효율 중심의 방법은 실시간 배포를 가능하게 하지만, 정확도를 희생시키는 경향이 있어 실질적 시스템에서 중요한 상충 관계를 드러냄.
• 진전에도 불구하고 COCO 캡션과 같은 벤치마크 데이터셋은 의미적 모호성과 노이즈 있는 애너테이션(예: 모호한 캡션, 여러 가지 타당한 이미지-텍스트 대응)을 포함하고 있어 성능 평가의 신뢰성을 제한함.
• 향후 ITR 개발은 외부 지식(예: 공통지식 추론) 통합과 자원 효율적인 파라다임(예: 프롬프트 기반 미세조정) 설계를 통해 대규모 미세조정 데이터에 대한 의존도를 줄여야 함.