[논문 리뷰] Look, Imagine and Match: Improving Textual-Visual Cross-Modal Retrieval with Generative Models

Jiuxiang Gu, Jianfei Cai외 3명|arXiv (Cornell University)|2017. 11. 17.

Multimodal Machine Learning Applications참고 문헌 30인용 수 37

한 줄 요약

이 논문은 이미지-텍스트 생성 모델을 공동 임베딩 공간에 통합하여 텍스트-시각 매칭을 향상시키는 새로운 교차모달 검색 프레임워크를 제안한다. 생성 모델을 통해 학습된 국소적이고 구체적인 특징과 전반적인 추상적 표현을 결합함으로써, MSCOCO에서 최신 기술 수준(SOTA) 성능을 달성하여 이미지-텍스트 및 텍스트-이미지 검색 작업 모두에서 이전 방법들을 능가한다.

ABSTRACT

Textual-visual cross-modal retrieval has been a hot research topic in both computer vision and natural language processing communities. Learning appropriate representations for multi-modal data is crucial for the cross-modal retrieval performance. Unlike existing image-text retrieval approaches that embed image-text pairs as single feature vectors in a common representational space, we propose to incorporate generative processes into the cross-modal feature embedding, through which we are able to learn not only the global abstract features but also the local grounded features. Extensive experiments show that our framework can well match images and sentences with complex content, and achieve the state-of-the-art cross-modal retrieval results on MSCOCO dataset.

연구 동기 및 목표

• 텍스트-시각 검색에서의 교차모달 이질성 문제를 해결하기 위해 더 견고하고 구체적인 표현을 학습함으로써.
• 전반적인 의미적 임베딩을 넘어서 생성 모델을 통한 국소적, 개체 수준의 정렬을 통합함으로써 검색 성능을 향상시키기 위해.
• 추상적 표현과 구체적 표현을 결합할 경우, 복잡한 실세계 데이터에서 더 우수한 교차모달 매칭이 이루어짐을 보여주기 위해.
• MSCOCO 및 Flickr30K와 같은 벤치마크 데이터셋에서 프레임워크의 효과성을 검증하기 위해.

제안 방법

• 이 프레임워크는 전반적인 추상적 표현을 위한 하나의 스트림과 생성 모델을 통한 국소적이고 구체적인 표현을 위한 다른 스트림을 갖는 이중 스트림 아키텍처를 사용한다.
• 모델은 인코딩된 표현에서 진짜 모odal을 재구성하도록 훈련된 두 가지 조건부 생성 모델—이미지-텍스트 및 텍스트-이미지—를 도입한다.
• 유사한 이미지-텍스트 쌍 간의 유사도를 최적화하고, 불일치하는 쌍을 처벌하기 위해 최대 마진 순서 정렬 손실을 사용한다.
• 최종 관련도 점수는 추상적 표현과 구체적 표현을 모두 조합하여 매칭을 향상시키며, 세밀한 정렬을 강화한다.
• 단어 임베딩은 훈련 과정에서 함께 학습되며, 단어의 의미적 및 시각적 구체성 향상을 돕는다.
• 대조 학습을 사용하여 순서 정렬 및 재구성 손실의 조합을 통해 엔드 투 엔드로 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 생성 모델링이 교차모달 검색에서 이미지와 텍스트 간의 국소적 세밀한 정렬을 향상시키는 데 기여하는가?
• RQ2 추상적 표현과 구체적 표현을 결합할 경우, 추상적 표현만을 사용할 때보다 더 나은 검색 성능을 달성하는가?
• RQ3 모델이 입력 쿼리의 의미적 내용을 반영하는 타당한 이미지나 캡션을 얼마나 잘 생성하는가?
• RQ4 제안된 방법이 표준 벤치마크에서 기존 최신 기술 수준 모델들을 얼마나 뛰어넘는가?

주요 결과

• MSCOCO 1k 테스트 스플릿에서 제안된 GXN (i2t+t2i) 모델은 이미지-텍스트 검색에서 R@1이 68.5%로 기존 방법들을 능가했으며, 텍스트-이미지 검색에서는 R@1이 56.6%를 기록했다.
• 1k 테스트 스플릿에서 R@1과 R@10 지표의 총합이 317.5로, 이전 SOTA인 304.6을 크게 초월했다.
• 5k 테스트 스플릿에서는 이미지-텍스트 검색에서 R@1이 42.0%, R@10이 84.7%이며, 텍스트-이미지 검색에서는 R@1이 31.7%, R@10이 74.6%를 기록하여 뛰어난 일반화 능력을 보였다.
• Flickr30K에서 모델은 이미지-텍스트 검색에서 R@1이 56.8%, R@10이 89.6%이며, 텍스트-이미지 검색에서는 R@1이 41.5%, R@10이 80.1%를 기록하여 다양한 데이터셋에서의 강건성을 입증했다.
• 정성적 결과에서는 생성된 이미지가 복잡한 장면에서는 품질이 제한적이지만, 타당한 형태, 색상, 배경을 유지함으로써 언어-이미지 정렬이 잘 학습되었음을 시사한다.
• 단어 임베딩 시각화 결과는 GXN (i2t+t2i)가 'eats'와 'stares'와 같은 단어들을 더 가까이 군집화함으로써 더 의미적이고 시각적으로 구체적인 단어 표현을 학습하고 있음을 확인한다.