[論文レビュー] Training and Evaluating Multimodal Word Embeddings with Large-scale Web Annotated Images

Junhua Mao, Jiajing Xu+2 more|arXiv (Cornell University)|Nov 24, 2016

Multimodal Machine Learning Applications参考文献 33被引用数 36

ひとこと要約

本稿では、4000万枚の画像と3億のテキスト記述を備えた大規模なマルチモーダルデータセットであるPinterest40Mと、1万674組の人の検証済み語/語句類似度ペアからなる評価セットを紹介する。重み共有を用いたRNNモデルを提案し、視覚的情報が単語埋め込みの品質を著しく向上させることを示した。Gold RP10Kベンチマークにおいて、Word2Vecより9.5%の向上を達成した。

ABSTRACT

In this paper, we focus on training and evaluating effective word embeddings with both text and visual information. More specifically, we introduce a large-scale dataset with 300 million sentences describing over 40 million images crawled and downloaded from publicly available Pins (i.e. an image with sentence descriptions uploaded by users) on Pinterest. This dataset is more than 200 times larger than MS COCO, the standard large-scale image dataset with sentence descriptions. In addition, we construct an evaluation dataset to directly assess the effectiveness of word embeddings in terms of finding semantically similar or related words and phrases. The word/phrase pairs in this evaluation dataset are collected from the click data with millions of users in an image search system, thus contain rich semantic relationships. Based on these datasets, we propose and compare several Recurrent Neural Networks (RNNs) based multimodal (text and image) models. Experiments show that our model benefits from incorporating the visual information into the word embeddings, and a weight sharing strategy is crucial for learning such multimodal embeddings. The project page is: http://www.stat.ucla.edu/~junhua.mao/multimodal_embedding.html

研究の動機と目的

• 視覚的・テキスト的記述を組み合わせた大規模でマルチモーダルなデータセットが、頑健な単語埋め込みの学習に不足している現状に対処する。
• 意味的類似性および関連性を捉える単語埋め込みの品質を測るためのスケーラブルな評価フレームワークを開発する。
• 視覚的およびテキスト的信号を単語表現に効果的に統合するマルチモーダルRNNモデルを提案・評価する。
• 特に重み共有を含む視覚的スーパービジョン戦略が、意味的で一般化可能な単語埋め込みの学習に与える影響を調査する。
• 大規模でユーザーのクリック履歴に由来する人間検証済みの評価データセットを用いて、マルチモーダル単語埋め込みモデルのベンチマークを可能にする。

提案手法

• Pinterestの公開共有ピンから4000万枚の画像と3億の文の記述をクロールすることで、Pinterest40Mデータセットを構築する。
• Pinterestの画像検索システムのユーザークリックログをマイニングし、クラウドソーシングによるノイズ除去を経て、大規模な評価データセット（RP10MおよびGold RP10K）を生成する。
• 単語埋め込み層と出力ソフトマックス層の間で重みを共有するマルチモーダルRNNモデル（モデルA）を提案し、文内のすべての単語に対してソフトな視覚的スーパービジョンを可能にする。
• 比較のため、最終RNN隠れ状態（モデルB）や単語埋め込み（モデルC）に直接視覚的スーパービジョンを適用する代替モデルを実装する。
• 画像特徴量とRNNの隠れ状態または単語埋め込みの間のユークリッド距離を最小化する共同損失関数を用いてモデルを訓練する。
• t-SNE可視化を用いて、学習された埋め込み空間における意味的に類似した単語のクラスタリングを定性的に評価する。

実験結果

リサーチクエスチョン

• RQ1 大規模なマルチモーダルデータセットで学習された際、視覚的情報が単語埋め込みの品質をどの程度向上させるか？
• RQ2 単語埋め込み層と出力層の間で重み共有を行う戦略が、マルチモーダルRNNにおける視覚的・テキスト的信号の統合をどのように向上させるか？
• RQ3 意味的類似度タスクにおいて、マルチモーダルRNNモデルは、Word2Vec や GloVe などの純粋なテキストベースラインと比べてどの程度の相対的パフォーマンスを示すか？
• RQ4 Pinterest40Mで学習されたモデルは、より大きな純粋なテキストコーパスで学習されたモデルと比較して、意味的類似度および関連性タスクにどの程度一般化できるか？
• RQ5 大規模でユーザー行動に由来する評価データセットは、小規模で手作業でキュレートされたデータセットと比較して、単語埋め込みモデルのベンチマークにより包括的かつ現実的であると言えるか？

主な発見

• 視覚的情報は単語埋め込みの品質を著しく向上させる：モデルAはGold RP10Kベンチマークで0.843を達成し、純粋なテキストRNNベースラインより9.5%高い性能を示した。
• 重み共有戦略は不可欠である：重み共有をしないモデルAはGold RP10Kで0.773を記録し、完全なモデルと比較して7.0%の低下を示した。
• モデルAは最先端の純粋なテキストモデルを上回る：Gold RP10KではWord2Vec-GoogleNews（0.716）を9.5%上回り、RP10MではGloVe-Twitter（0.693）を15.0%上回った。
• 3000億語のコーパスで学習されたWord2Vecですら、30億語のコーパスで学習されたPinterest40Mモデルに劣る。これはマルチモーダルスーパービジョンの価値を示している。
• モデルB（最終RNN状態に直接視覚的スーパービジョンを適用）は、初期の単語埋め込みへの勾配伝播が不十分なため性能が低く、アーキテクチャ設計の重要性を示している。
• t-SNE可視化により、意味的に類似した単語が埋め込み空間でクラスタリングしていることが確認され、モデルが意味的な表現を学習できていることが妥当性を確認した。