[논문 리뷰] Unifying Visual-Semantic Embeddings with Multimodal Neural Language Models

Ryan Kiros, Ruslan Salakhutdinov외 1명|arXiv (Cornell University)|2014. 11. 10.

Multimodal Machine Learning Applications참고 문헌 47인용 수 1,320

한 줄 요약

이 논문은 LSTM 기반 문장 인코딩과 새로운 구조-내용 신경망 언어 모델(SC-NLM)을 사용하여 통합된 시각-의미 임베딩 공간을 학습하는 통합 인코더-디코더 프레임워크를 제안한다. 객체 검출을 사용하지 않아도 Flickr8K와 Flickr30K에서 최고 성능을 기록하며, 더 깊은 특징을 사용할 경우 새로운 SOTA 결과를 달성한다. 또한 벡터 산술을 통해 다중모odal 벡터 공간 내 언어적 규칙성을 입증한다.

ABSTRACT

Inspired by recent advances in multimodal learning and machine translation, we introduce an encoder-decoder pipeline that learns (a): a multimodal joint embedding space with images and text and (b): a novel language model for decoding distributed representations from our space. Our pipeline effectively unifies joint image-text embedding models with multimodal neural language models. We introduce the structure-content neural language model that disentangles the structure of a sentence to its content, conditioned on representations produced by the encoder. The encoder allows one to rank images and sentences while the decoder can generate novel descriptions from scratch. Using LSTM to encode sentences, we match the state-of-the-art performance on Flickr8K and Flickr30K without using object detections. We also set new best results when using the 19-layer Oxford convolutional network. Furthermore we show that with linear encoders, the learned embedding space captures multimodal regularities in terms of vector space arithmetic e.g. *image of a blue car* - "blue" + "red" is near images of red cars. Sample captions generated for 800 images are made available for comparison.

연구 동기 및 목표

• 종합적인 이미지-텍스트 임베딩 모델과 다중모달 신경망 언어 모델을 통합하여 엔드 투 엔드 이미지 캡션 생성을 위한 프레임워크를 구축한다.
• 다중모달 임베딩을 조건으로 하여 문장 구조와 내용을 분리하는 구조-내용 신경망 언어 모델(SC-NLM)을 개발한다.
• 동일한 통합 프레임워크를 통해 이미지-문장 순서 매기기와 새로운 캡션 생성을 모두 가능하게 한다.
• 다중모달 벡터 공간이 단일언어 어휘 임베딩에서 관찰되는 것과 유사한 언어적 규칙성을 지원하는지 조사한다.
• 템플릿 기반 및 조합 기반 방법을 초월하여 신경망 시퀀스 생성을 통해 캡션 품질을 향상시킨다.

제안 방법

• 문장을 공통된 시각-의미 임베딩 공간에 매핑하기 위해 LSTM 인코더를 사용하며, 이미지 특징는 선형 투영을 통해 동일한 공간에 투영된다.
• 공동 임베딩 공간을 최적화하기 위해 쌍별 순서 매기기 손실을 적용하여 의미적으로 유사한 이미지-문장 쌍이 벡터 공간에서 가까이 위치하도록 보장한다.
• 구조-내용 신경망 언어 모델(SC-NLM)을 도입하여, 인코더 출력을 조건으로 삼으면서 문법적 구조와 의미적 내용을 분리한다.
• 선형 문장 인코딩(단어 벡터의 합)을 적용하여 다중모달 공간에서의 벡터 산술을 가능하게 하며, 예를 들어 *파란 차의 이미지* − "파란" + "빨간" ≈ 빨간 차의 이미지로 표현할 수 있다.
• 19층의 옥스포드 컨volutional 네트워크에서 추출한 특징을 사용하여 Flickr30K와 MS-COCO 데이터셋의 조합을 통해 인코더-디코더 파이프라인을 훈련시킨다.
• 질적 분석을 위해 주성분 분석(PCA) 투영과 최근접 이웃 검색을 적용하여 학습된 다중모달 공간 내의 유사성과 구조적 규칙성을 분석한다.

실험 결과

연구 질문

• RQ1 통합된 인코더-디코더 프레임워크는 이미지-텍스트 임베딩 학습과 신경망 캡션 생성을 효과적으로 통합할 수 있는가?
• RQ2 제안된 구조-내용 신경망 언어 모델(SC-NLM)은 기존 방법보다 더 자연스럽고 다양한 캡션을 생성하는가?
• RQ3 다중모달 벡터 공간은 벡터 산술을 통해 입증되는 것과 같은 언어적 유사성 추론과 같은 언어적 규칙성을 지원하는가?
• RQ4 Flickr8K와 Flickr30K와 같은 표준 이미지 캡션 벤치마크에서 이 모델의 성능은 최고 수준의 기존 방법과 비교해 어떻게 되는가?
• RQ5 선형 인코더는 LSTMs에 비해 낮은 검색 정확도를 보일지라도, 다중모달 임베딩 내 언어적 규칙성을 어느 정도 유지할 수 있는가?

주요 결과

• 이 모델은 객체 검출을 사용하지 않아도 Flickr8K와 Flickr30K에서 최고 성능을 기록하며, 이전의 SOTA 결과를 따라하거나 초월한다.
• 19층의 옥스포드 컨볼루션 네트워크에서 추출한 특징을 사용할 경우, Flickr8K와 Flickr30K 양쪽에서 새로운 SOTA 결과를 달성하여 특징 활용 능력이 향상됨을 입증한다.
• 선형 인코더는 다중모달 공간에서 벡터 산술을 가능하게 하며, *파란 차의 이미지* − "파란" + "빨간" 은 빨간 차의 이미지 근처의 표현으로 이어져 다중모달 임베딩 내 언어적 규칙성을 확인한다.
• SC-NLM에서 생성된 캡션은 TreeTalk 및 최근접 이웃 기반 베이스라인과의 비교에서 더 우수한 자연스러움과 다양성을 보이며, 질적 측면에서 기존 방법보다 뛰어나다.
• 모델은 인코더를 통해 관련된 이미지와 문장을 성공적으로 검색할 수 있으며, 디코더는 새로운, 일관된 캡션을 처음부터 생성할 수 있어 프레임워크의 이중 기능을 검증한다.
• 이 프레임워크는 자연스럽게 검색(순서 매기기)과 생성 작업을 지원하며, 시각-의미 임베딩과 다중모달 언어 모델링의 통합을 입증한다.