[논문 리뷰] Towards Zero-shot Cross-lingual Image Retrieval

Pranav Aggarwal, Ajinkya Kale|arXiv (Cornell University)|2020. 11. 24.

Multimodal Machine Learning Applications참고 문헌 34인용 수 17

한 줄 요약

이 논문은 단지 다국어가 아닌 영어 이미지-텍스트 쌍만을 사용하여 훈련하지만 추론 시 10개의 비영어 언어로 효과적으로 일반화되는 제로샷 다국어 이미지 검색 프레임워크를 제안한다. 크로스-링구얼 문장 임베딩(mUSE 및 LASER)과 텍스트 클러스터 간 간격을 강화하는 새로운 M3L 손실 함수를 활용함으로써, 모델은 강력한 제로샷 성능을 달성하며, 새로운 XTD10 벤치마크에서 영어의 Recall@1은 0.591, 독일어의 Recall@1은 0.522에 도달한다. 이는 다국어 미세조정 없이도 견고한 다국어 간 정렬을 달성하고 있음을 보여준다.

ABSTRACT

There has been a recent spike in interest in multi-modal Language and Vision problems. On the language side, most of these models primarily focus on English since most multi-modal datasets are monolingual. We try to bridge this gap with a zero-shot approach for learning multi-modal representations using cross-lingual pre-training on the text side. We present a simple yet practical approach for building a cross-lingual image retrieval model which trains on a monolingual training dataset but can be used in a zero-shot cross-lingual fashion during inference. We also introduce a new objective function which tightens the text embedding clusters by pushing dissimilar texts from each other. Finally, we introduce a new 1K multi-lingual MSCOCO2014 caption test dataset (XTD10) in 7 languages that we collected using a crowdsourcing platform. We use this as the test set for evaluating zero-shot model performance across languages. XTD10 dataset is made publicly available here: https://github.com/adobe-research/Cross-lingual-Test-Dataset-XTD10

연구 동기 및 목표

• 단지 다국어가 아닌 영어 훈련 데이터만을 사용하여 제로샷 다국어 이미지 검색을 가능하게 한다.
• 다국어 평가 데이터셋의 부족 문제를 해결한다.
• 새로운 손실 함수를 통해 텍스트 임베딩 클러스터의 간격을 좁혀 다국어 간 정렬을 향상시킨다.
• 다국어 미세조정 없이도 10개의 저자원 비영어 언어로의 일반화 성능을 평가한다.

제안 방법

• 이미지-텍스트 쌍을 기반으로 시각-언어 모델을 훈련하며, 메트릭 학습을 사용해 이미지와 텍스트를 공유 임베딩 공간에 매핑한다.
• 다국어 추론을 가능하게 하기 위해 사전 훈련된 크로스-링구얼 문장 임베딩(mUSE 또는 LASER)을 사용해 텍스트 인코더를 초기화한다.
• 유사한 텍스트-이미지 쌍은 가깝게, 비유사한 텍스트는 멀리 떨어지게 하는 새로운 M3L 손실 함수를 도입하여 클러스터의 밀도를 향상시킨다.
• 효율성과 전이 가능성 유지를 위해 이미지 임베딩에 고정된 ResNet-152 백본을 사용한다.
• 공유된 가중치를 가진 텍스트 인코더를 갖춘 듀얼 인코더 아키텍처를 사용하여 언어에 종속되지 않는 표현 학습을 가능하게 한다.
• 새로가져온 1,000개의 다국어 테스트 세트(XTD10)를 사용해 성능을 평가하며, 커스터마이징 플랫폼에서 인간이 캡션을 작성한 자료를 활용한다.

실험 결과

연구 질문

• RQ1 영어 단일 언어 훈련 데이터만으로 훈련된 모델이 다양한 언어로 제로샷 다국어 이미지 검색에 일반화될 수 있는가?
• RQ2 M3L 손실 함수가 텍스트 임베딩 클러스터 간 간격을 좁히고 다국어 정렬을 향상시키는 데 얼마나 효과적인가?
• RQ3 크로스-링구얼 문장 인코더 선택(mUSE 대비 LASER)이 제로샷 검색 성능에 어떤 영향을 미치는가?
• RQ4 비영어 언어와 영어 텍스트 임베딩 간의 의미 정렬이 얼마나 잘 유지되는가?
• RQ5 다국어 미세조정 대비 제로샷 성능은 Recall과 일반화 측면에서 어떻게 비교되는가?

주요 결과

• 영어 데이터만으로 훈련된 모델은 영어 분할에서 Recall@1이 0.591, 독일어에서 0.522를 기록하며 강력한 제로샷 일반화 능력을 입증한다.
• mUSE 기반의 M3L 손실이 다른 조합보다 뛰어나며, 특히 슬라브어가 아닌 언어에서 가장 높은 Recall@1 성능을 기록한다.
• mUSE 기반 모델은 LASER 대비 비영어 임베딩이 영어 대응물 주변에 더 단단한 클러스터를 형성함으로써 더 나은 제로샷 성능을 설명한다.
• 기본 모델인 Portaz 등.(2019)보다도 다국어 임베딩을 사용하는 경우조차도 Multi30K 데이터셋에서 더 뛰어난 성능을 기록한다.
• 영어 데이터만으로 훈련하면 다국어 훈련 대비 영어 성능은 略로 떨어지지만, 이는 미미하며 제로샷 설정은 예측 불가능한 언어로도 잘 일반화된다.
• 정성적 결과는 상위 랭크된 이미지가 완벽하지 않더라도 모델이 캡션에 포함된 모든 핵심 객체를 포착하고 있음을 보여주며, 이는 견고한 의미 정렬을 의미한다.