[논문 리뷰] VisualSparta: Sparse Transformer Fragment-level Matching for Large-scale Text-to-Image Search

Xiaopeng Lu, Tiancheng Zhao외 1명|arXiv (Cornell University)|2021. 01. 01.

Multimodal Machine Learning Applications참고 문헌 11인용 수 6

한 줄 요약

VisualSparta는 조각 수준의 매칭과 효율적인 역인덱스 구현을 활용하여, 100만 장의 이미지 데이터셋에서 표준 벡터 검색 대비 391배 이상의 속도 향상을 이룬 스퍼스 트랜스포머 기반 모델을 제안한다. 이는 대규모 텍스트-이미지 검색에서 최고 수준의 정확도를 달성하며, MSCOCO와 Flickr30K에서 이전의 확장 가능한 방법들을 능가한다.

ABSTRACT

Text-to-image retrieval is an essential task in multi-modal information retrieval, i.e. retrieving relevant images from a large and unlabelled image dataset given textual queries. In this paper, we propose VisualSparta, a novel text-to-image retrieval model that shows substantial improvement over existing models on both accuracy and efficiency. We show that VisualSparta is capable of outperforming all previous scalable methods in MSCOCO and Flickr30K. It also shows substantial retrieving speed advantages, i.e. for an index with 1 million images, VisualSparta gets over 391x speed up compared to standard vector search. Experiments show that this speed advantage even gets bigger for larger datasets because VisualSparta can be efficiently implemented as an inverted index. To the best of our knowledge, VisualSparta is the first transformer-based text-to-image retrieval model that can achieve real-time searching for very large dataset, with significant accuracy improvement compared to previous state-of-the-art methods.

연구 동기 및 목표

• 비라벨링된 이미지 데이터셋에서 효율적이고 정확한 대규모 텍스트-이미지 검색의 과제를 해결한다.
• 대규모 데이터셋에서의 벡터 검색의 계산적 병목 현상을 극복하여 실시간 검색을 가능하게 한다.
• 기존의 확장 가능한 방법들과 비교해 정확도를 향상시키면서도 높은 효율성을 유지한다.
• 텍스트 및 이미지 임베딩 간의 조각 수준 매칭을 위해 특화된 새로운 스퍼스 어텐션 메커니즘을 도입한다.
• 산업 규모의 이미지 컬렉션에서 실시간 검색을 위한 트랜스포머 기반 모델의 실용적 구현을 가능하게 한다.

제안 방법

• 텍스트 쿼리와 이미지 특징 간의 의미적 조각을 매칭하는 데 집중하는 스퍼스 트랜스포머 아키텍처를 사용한다. 이는 전체 임베딩 대신이다.
• 조각 수준의 어텐션을 사용하여 관련된 시각적 및 텍스트 하위 구성 요소를 식별하고 정렬함으로써 검색 정밀도를 향상시킨다.
• 효율적인 인덱싱을 위해 역인덱스로 구현 가능한 모델을 설계하여 대규모에서의 빠른 검색과 조회를 가능하게 한다.
• 어텐션 패턴의 희소성을 활용하여 계산 비용을 줄이면서도 표현 능력을 유지한다.
• 100만 장 이상의 이미지가 포함된 데이터셋에서도 실시간 추론을 지원할 수 있도록 검색 파이프라인을 최적화한다.
• 텍스트와 이미지 표현을 조각 수준에서 정렬하기 위해 대비 학습 목표를 기반으로 엔드 투 엔드로 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 스퍼스 트랜스포머 기반 모델은 대규모 텍스트-이미지 검색에서 높은 정확도와 실시간 추론 속도를 동시에 달성할 수 있는가?
• RQ2 전체 임베딩 매칭 대비 조각 수준 매칭은 검색 정밀도와 효율성 측면에서 어떻게 비교되는가?
• RQ3 스퍼시티와 역인덱싱은 대규모 이미지 데이터셋에서 검색 지연 시간을 얼마나 줄일 수 있는가?
• RQ4 트랜스포머 기반 모델은 MSCOCO와 Flickr30K와 같은 표준 벤치마크에서 이전 최고 성능 모델들을 초월하는 정확도와 속도를 달성할 수 있는가?
• RQ5 데이터셋 크기가 100만 장을 초과할 경우 제안된 방법의 확장성은 어느 정도인가?

주요 결과

• VisualSparta는 MSCOCO와 Flickr30K 벤치마크에서 모두 최고 성능을 기록하며, 이전의 모든 확장 가능한 방법들보다 검색 정확도에서 뛰어나다.
• 100만 장의 이미지 인덱스에서 VisualSparta는 표준 벡터 검색 대비 391배 이상의 속도 향상을 보이며, 더 큰 데이터셋에서는 이优势가 더욱 커진다.
• 효율적인 역인덱스 구현 덕분에 매우 큰 데이터셋에서도 실시간 텍스트-이미지 검색을 가능하게 한다.
• 조각 수준 매칭의 사용은 텍스트 쿼리와 관련된 이미지 영역 간의 정렬을 크게 향상시킨다.
• 모델의 성능 향상은 다양한 데이터셋 규모에서 일관되게 유지되며, 강력한 확장성을 보여준다.
• VisualSparta는 대규모 데이터셋에서 높은 정확도와 실시간 추론을 동시에 달성한 최초의 트랜스포머 기반 텍스트-이미지 검색 모델이다.