[논문 리뷰] Training and Evaluating Multimodal Word Embeddings with Large-scale Web Annotated Images

Junhua Mao, Jiajing Xu외 2명|arXiv (Cornell University)|2016. 11. 24.

Multimodal Machine Learning Applications참고 문헌 33인용 수 36

한 줄 요약

이 논문은 4000만 장의 이미지와 3억 개의 텍스트 설명을 포함한 대규모 다중모달 데이터셋인 Pinterest40M과 함께, 10,674개의 인간 검증된 단어/어휘 유사성 쌍으로 구성된 평가 세트를 소개한다. 가중치 공유 RNN 모델을 제안하여 시각적 및 텍스트적 특징을 융합하며, 이는 시각적 정보가 단어 임베딩 품질을 크게 향상시킨다는 것을 입증한다. Gold RP10K 벤치마크에서 Word2Vec 대비 9.5% 향상된 성능을 기록한다.

ABSTRACT

In this paper, we focus on training and evaluating effective word embeddings with both text and visual information. More specifically, we introduce a large-scale dataset with 300 million sentences describing over 40 million images crawled and downloaded from publicly available Pins (i.e. an image with sentence descriptions uploaded by users) on Pinterest. This dataset is more than 200 times larger than MS COCO, the standard large-scale image dataset with sentence descriptions. In addition, we construct an evaluation dataset to directly assess the effectiveness of word embeddings in terms of finding semantically similar or related words and phrases. The word/phrase pairs in this evaluation dataset are collected from the click data with millions of users in an image search system, thus contain rich semantic relationships. Based on these datasets, we propose and compare several Recurrent Neural Networks (RNNs) based multimodal (text and image) models. Experiments show that our model benefits from incorporating the visual information into the word embeddings, and a weight sharing strategy is crucial for learning such multimodal embeddings. The project page is: http://www.stat.ucla.edu/~junhua.mao/multimodal_embedding.html

연구 동기 및 목표

• 강력한 단어 임베딩을 학습하기 위해 이미지와 텍스트 설명을 결합한 대규모 다중모달 데이터셋의 부족을 해결한다.
• 의미적 유사성과 관련성의 개념을 포괄적으로 측정할 수 있는 스케일러블 평가 프레임워크를 개발한다.
• 시각적 및 텍스트적 신호를 단어 표현에 효과적으로 통합하는 다중모달 RNN 모델을 제안하고 평가한다.
• 특히 가중치 공유 전략을 포함한 시각적 지도 학습 전략이 의미 있는 일반화 가능한 단어 임베딩 학습에 미치는 영향을 조사한다.
• 사용자 클릭 기반의 인간 검증 평가 데이터셋을 활용해 다중모달 단어 임베딩 모델의 벤치마킹을 가능하게 한다.

제안 방법

• Pinterest의 공개된 핀(Pins)에서 4000만 장의 이미지와 3억 개의 문장 설명을 크롤링하여 Pinterest40M 데이터셋을 구축한다.
• Pinterest의 이미지 검색 시스템에서 사용자 클릭 로그를 분석하고, 커뮤니티 기반으로 노이즈가 제거된 쌍을 정제하여 대규모 평가 데이터셋(RP10M 및 Gold RP10K)을 생성한다.
• 단어 임베딩 레이어와 출력 소프트맥스 레이어 간의 가중치 공유를 통해 모든 문장 내 단어에 소프트 시각적 지도 학습을 제공하는 다중모달 RNN 모델(Model A)을 제안한다.
• 비교를 위해 모델 B와 C를 구현하였으며, 각각 최종 RNN 은닉 상태나 단어 임베딩에 직접적인 시각적 지도 학습을 적용한다.
• 이미지 특징와 RNN의 은닉 상태 또는 단어 임베딩 간의 유클리드 거리 최소화를 목표로 하는 공동 손실 함수를 사용해 모델을 훈련한다.
• 학습된 임베딩 공간 내에서 의미적으로 유사한 단어들이 어떻게 군집되는지 시각적으로 평가하기 위해 t-SNE 시각화를 활용한다.

실험 결과

연구 질문

• RQ1 대규모 다중모달 데이터셋에서 학습할 때, 시각적 정보가 단어 임베딩 품질 향상에 얼마나 효과적인가?
• RQ2 단어 임베딩 레이어와 출력 레이어 간의 가중치 공유 전략이 다중모달 RNN에서 시각적 및 텍스트적 신호 융합에 기여하는가?
• RQ3 의미적 유사성 작업에서 순수 텍스트 기반 베이스라인 모델인 Word2Vec 및 GloVe 대비 다중모달 RNN 모델의 상대적 성능은 어떠한가?
• RQ4 Pinterest40M에서 학습된 모델가 순수 텍스트 코퍼스로 학습된 모델 대비 의미적 유사성 및 관련성 작업에 얼마나 잘 일반화되는가?
• RQ5 사용자 활동 기반의 대규모 평가 데이터셋이 소규모 수동 컬렉션 대비 더 포괄적이고 현실적인 단어 임베딩 모델 평가 기준을 제공할 수 있는가?

주요 결과

• 시각적 정보가 단어 임베딩 품질 향상에 크게 기여한다: Model A는 Gold RP10K 벤치마크에서 0.843을 기록하며 순수 텍스트 RNN 기반 모델 대비 9.5% 향상된 성능을 보였다.
• 가중치 공유 전략이 핵심적이다: 가중치 공유 없이 학습한 Model A는 Gold RP10K에서 0.773을 기록하며 전체 모델 대비 7.0% 성능 저하를 보였다.
• Model A는 최신 순수 텍스트 모델을 초월한다: Gold RP10K에서 Word2Vec-GoogleNews(0.716) 대비 9.5% 향상되었고, RP10M에서 GloVe-Twitter(0.693) 대비 15.0% 향상되었다.
• 단지 30억 단어로만 학습되었음에도 불구하고, Pinterest40M에서 학습된 모델는 3000억 단어로 학습된 Word2Vec를 능가하여 다중모달 지도 학습의 가치를 입증한다.
• Model B는 최종 RNN 은닉 상태에 직접적인 시각적 지도 학습을 적용했지만, 초기 단어 임베딩으로의 기울기 전파가 불량하여 성능이 열등했으며, 이는 아키텍처 설계의 중요성을 강조한다.
• t-SNE 시각화 결과, 의미적으로 유사한 단어들이 임베딩 공간 내에서 군집되어 있음을 확인하여, 모델이 의미 있는 표현을 효과적으로 학습하고 있음을 검증한다.