[논문 리뷰] Webly Supervised Joint Embedding for Cross-Modal Image-Text Retrieval

Niluthpol Chowdhury Mithun, Rameswar Panda외 2명|arXiv (Cornell University)|2018. 08. 23.

Multimodal Machine Learning Applications인용 수 9

한 줄 요약

이 논문은 소량의 완전히 애너테이션된 이미지-텍스트 쌍과 대량의 노이즈가 있는 태그가 부착된 웹 이미지를 함께 학습하여 교차 모odal 이미지-텍스트 검색 성능을 향상시키는 이단계 웹리서치(웹 기반) 학습 방법을 제안한다. VSE나 VSEPP와 같은 표준 쌍별 랭킹 손실에 약한 애너테이션을 가진 웹 데이터를 통합함으로써, 더 강건한 시각-의미적 임베딩을 학습하게 되어, 최신 기술 대비 MSCOCO와 Flickr30K에서 R@10 기준 최대 9% 향상이라는 뚜렷한 성능 향상을 달성한다.

ABSTRACT

Cross-modal retrieval between visual data and natural language description remains a long-standing challenge in multimedia. While recent image-text retrieval methods offer great promise by learning deep representations aligned across modalities, most of these methods are plagued by the issue of training with small-scale datasets covering a limited number of images with ground-truth sentences. Moreover, it is extremely expensive to create a larger dataset by annotating millions of images with sentences and may lead to a biased model. Inspired by the recent success of webly supervised learning in deep neural networks, we capitalize on readily-available web images with noisy annotations to learn robust image-text joint representation. Specifically, our main idea is to leverage web images and corresponding tags, along with fully annotated datasets, in training for learning the visual-semantic joint embedding. We propose a two-stage approach for the task that can augment a typical supervised pair-wise ranking loss based formulation with weakly-annotated web images to learn a more robust visual-semantic embedding. Experiments on two standard benchmark datasets demonstrate that our method achieves a significant performance gain in image-text retrieval compared to state-of-the-art approaches.

연구 동기 및 목표

• 감독 학습 기반 이미지-텍스트 검색에서 사용되는 소규모 완전 애너테이션 데이터셋의 확장성과 편향 문제를 해결하기 위해.
• 대규모, 약한 애너테이션을 가진 웹 이미지(노이즈가 있는 태그 포함)가 시각-의미적 임베딩의 강건성 향상에 기여하는지 조사하기 위해.
• 약한 감독 웹 데이터와 감독 기반 이미지-텍스트 쌍을 융합하여 검색 성능 향상을 도모하는 실용적이고 확장 가능한 프레임워크를 개발하기 위해.
• 비용이 많이 드는 인간 애너테이션 데이터셋에 대한 의존도를 줄이고, 이미지-텍스트 검색에서의 다중 데이터셋 일반화 성능을 향상시키기 위해.

제안 방법

• 표준 쌍별 랭킹 손실(예: VSE 또는 VSEPP)을 사용하여 소량의 완전히 애너테이션된 이미지-텍스트 쌍에서 공동 임베딩 모델을 사전 학습하는 이단계 학습 프레임워크를 제안한다.
• 두 번째 단계에서, 인간 애너테이션된 데이터와 웹 이미지의 노이즈가 있는 태그를 함께 최적화하여 모델을 미세조정한다.
• 태그를 대상으로 대조 손실 쌍을 구성함으로써 약한 지도 학습으로 간주하며, 태그는 TF-IDF 가중 BOW 벡터로 표현한다.
• 이미지 및 텍스트 특징이 동일한 잠재 공간에 투영되는 공유 임베딩 공간을 사용하여 교차 모달 유사도 계산을 가능하게 한다.
• 랭킹 손실의 가중 조합을 통해 감독 및 약한 감독 신호를 통합함으로써, 노이즈가 있는 웹 데이터에서 학습하면서 성능 저하 없이 모델이 학습할 수 있도록 한다.
• 이미지 특징 추출에 딥 네트워크(예: ResNet152, VGG19)를 사용하고, 문장 인코딩에 RNN 기반 인코더와 Word2Vec을 활용한다.

실험 결과

연구 질문

• RQ1 노이즈가 있는 태그가 부착된 대규모 약한 애너테이션 웹 이미지가 이미지-텍스트 검색에서 시각-의미적 임베딩의 강건성 향상에 기여할 수 있는가?
• RQ2 제한된 인간 애너테이션 쌍과 함께 웹 데이터를 통합할 경우, MSCOCO 및 Flickr30K와 같은 표준 벤치마크에서 성능에 어떤 영향을 미치는가?
• RQ3 제안된 방법은 순수 감독 기반 기준 대비 더 나은 데이터셋 간 일반화 성능를 보일 수 있는가?
• RQ4 다양한 손실 함수(VSE 대비 VSEPP)와 이미지 특징 추출기(VGG19 대비 ResNet152)가 웹 기반 감독 학습 기반의 학습 방식과 어떻게 상호작용하는가?

주요 결과

• MSCOCO 데이터셋에서 제안된 방법은 VSEPP-VGG19 버전 기준 표준 감독 기반 기준 대비 R@1에서 6% 향상되고, R@10에서 최대 9% 향상되었다.
• Flickr30K 데이터셋에서 이미지-텍스트 검색에서는 R@1이 3~6% 향상되고, R@10가 3~9% 향상되었으며, 특히 VSEPP-VGG19 구성에서 가장 높은 성능 향상을 보였다.
• 텍스트-이미지 검색에서는 평균적으로 R@1이 2.25% 향상되고, R@10가 3.25% 향상되어 양방향 검색에서 일관된 성능 향상을 보였다.
• ResNet152 특징을 사용할 경우 성능 향상이 더 두드러졌다: 텍스트-이미지 검색에서 R@1 기준 11.18% 향상되었고, VGG19 대비 3.5%보다 높았다.
• VSE 및 VSEPP 손실 형식 모두에서 일관되게 성능 향상을 보였으며, 이는 다양한 랭킹 손실 설계와의 호환성을 시사한다.
• 특징 선택 및 손실 함수에 관계없이 강건한 성능 향상을 보였고, 이는 웹 데이터 통합이 기반 아키텍처나 손실 함수에 관계없이 일반화 성능 향상에 기여한다는 것을 보여준다.