[논문 리뷰] Universal Vision-Language Dense Retrieval: Learning A Unified Representation Space for Multi-Modal Retrieval

Zhenghao Liu, Chenyan Xiong외 3명|arXiv (Cornell University)|2022. 09. 01.

Multimodal Machine Learning Applications인용 수 6

한 줄 요약

이 논문은 텍스트와 이미지 검색을 위한 공통 임베딩 공간을 학습하는 통합 시각-언어 밀도 검색 모델인 UniVL-DR을 제안한다. 모ality-균형 하드 음성 샘플링과 이미지 언어화를 활용하여 모ality 간 격차를 해소함으로써, UniVL-DR은 WebQA에서 최신 기준 성능을 달성하여 이전 모델보다 텍스트-텍스트 및 텍스트-이미지 검색 과제에서 각각 5퍼센트 이상 향상된 성능을 보였다.

ABSTRACT

This paper presents Universal Vision-Language Dense Retrieval (UniVL-DR), which builds a unified model for multi-modal retrieval. UniVL-DR encodes queries and multi-modality resources in an embedding space for searching candidates from different modalities. To learn a unified embedding space for multi-modal retrieval, UniVL-DR proposes two techniques: 1) Universal embedding optimization strategy, which contrastively optimizes the embedding space using the modality-balanced hard negatives; 2) Image verbalization method, which bridges the modality gap between images and texts in the raw data space. UniVL-DR achieves the state-of-the-art on the multi-modal open-domain question answering benchmark, WebQA, and outperforms all retrieval models on the two subtasks, text-text retrieval and text-image retrieval. It demonstrates that universal multi-modal search is feasible to replace the divide-and-conquer pipeline with a united model and also benefits single/cross modality tasks. All source codes of this work are available at https://github.com/OpenMatch/UniVL-DR.

연구 동기 및 목표

• 다중 모odal 검색 시스템에서 모ality 불균형과 교차 모adal 갭 문제를 해결하기 위해.
• 단일 모달리티 및 교차 모달리티 검색을 하나의 엔드 투 엔드 모델로 통합하여 별도의 파ipeline이 필요 없도록 하기 위해.
• 텍스트와 이미지 임베딩을 효과적으로 분리하고 정렬하는 통합 표현 공간을 학습함으로써 검색 성능을 향상시키기 위해.
• 이미지 특징에서 자연어 기술을 생성함으로써 교차 모달 매칭을 향상시키고, 모ality 갭을 감소시키기 위해.
• 균형 잡힌 신호를 통한 다중 모달 프리트레인잉이 단일 모달리티 및 다중 모달리티 검색 과제 모두의 성능을 향상시킨다는 것을 입증하기 위해.

제안 방법

• 대비 학습 중 모ality 선호도를 줄이기 위해 모ality-균형 하드 음성 샘플링을 사용하는 통합 임베딩 최적화 전략을 제안한다.
• 이미지 특징에서 자연어 기술을 생성함으로써 시각과 언어 표현을 정렬하는 이미지 언어화를 도입한다.
• 이미지 언어화를 두 단계로 수행한다: 먼저 이미지 캡션을 시각적 특징과 정렬하고, 그 다음 사실을 자연어로 재구성한다.
• 질의 언어화를 통해 이미지 콘텐츠에서 관련 텍스트 질의를 생성함으로써 교차 모달 매칭 신호를 향상시킨다.
• 배치 내 음성 샘플, 하드 음성 샘플, 모ality-균형 하드 음성 샘플을 사용하여 대비 학습을 통해 모델을 엔드 투 엔드로 훈련시킨다.
• 주어진 질의에 대해 통합된 임베딩 공간에서 KNN 검색을 수행하여 관련 텍스트 및 이미지 문서를 검색한다.

실험 결과

연구 질문

• RQ1 통합 표현 공간이 단일 및 교차 모달리티 검색 과제를 효과적으로 지원할 수 있는가?
• RQ2 모ality-균형 하드 음성 샘플링 전략은 다중 모달리티 검색에서 일반화 능력 향상과 모ality 편향 감소에 어떻게 기여하는가?
• RQ3 이미지 언어화가 시각과 언어 표현 간의 의미 격차를 어느 정도 해소할 수 있는가?
• RQ4 균형 잡힌 다중 모달 신호로부터 학습하는 것이 단일 모달리티 검색 과제의 성능 향상에 기여하는가?
• RQ5 통합 모델은 분리-통합 파이프라인 대비 검색 효과성과 융합 능력 측면에서 어떻게 비교되는가?

주요 결과

• UniVL-DR은 WebQA 벤치마크에서 최신 기준 성능을 달성하였으며, 이전 모델 대비 텍스트-이미지 검색에서 MRR@10 기준 5.1% 향상된 성능을 기록하였다.
• 모ality-균형 하드 음성 샘플링 전략은 모ality 편향을 감소시켜 더 균형 잡히고 효과적인 임베딩 공간 분포를 만들어 냈다.
• 질의 언어화를 통한 이미지 언어화가 캡션 언어화보다 더 높은 검색 효과성을 보였으며, 다중 모달리티 검색에서 62.40 MRR@10을 달성하였다.
• 모델은 임베딩 공간 내에서 적절한 모달리티 전용 영역으로 질의를 라우팅함으로써 효과적인 모달리티 해석을 보였다.
• UniVL-DR은 교차 모달 신호를 활용하여 단일 모달리티 검색 성능을 향상시켰으며, 이는 다중 모달 프리트레인잉이 단일 모달리티 과제에 유리한 영향을 미친다는 것을 보여주었다.
• 시각화 결과는 UniVL-DR이 텍스트 및 이미지 문서를 별도의 클러스터로 분리하면서도 질의 관련성을 유지하고 있음을 확인하였으며, 이는 강력한 표현 학습 능력을 의미한다.