[論文レビュー] Multilingual Multi-modal Embeddings for Natural Language Processing

Iacer Calixto, Qun Liu+1 more|arXiv (Cornell University)|Feb 3, 2017

Topic Modeling参考文献 10被引用数 15

ひとこと要約

本論文は、複数の言語における画像とその説明を同時に学習することで、画像と多言語文書表現を整列させるために変更されたノイズ対比推定損失を用いた、新しい判別的モデルを提案する。このモデルは、画像文書ランク付け、意味的テキスト類似度、ニューラル機械翻訳再ランク付けのタスクで一貫した向上を達成し、n-best翻訳リストの再ランク付けに用いた際には最大+4.5 BLEU点および+2.6 METEORポイントの向上を示した。

ABSTRACT

We propose a novel discriminative model that learns embeddings from multilingual and multi-modal data, meaning that our model can take advantage of images and descriptions in multiple languages to improve embedding quality. To that end, we introduce a modification of a pairwise contrastive estimation optimisation function as our training objective. We evaluate our embeddings on an image-sentence ranking (ISR), a semantic textual similarity (STS), and a neural machine translation (NMT) task. We find that the additional multilingual signals lead to improvements on both the ISR and STS tasks, and the discriminative cost can also be used in re-ranking $n$-best lists produced by NMT models, yielding strong improvements.

研究の動機と目的

• 同じ画像の複数言語の説明を活用することで、マルチモーダルかつマルチリンガル表現学習を向上させること。
• 視覚的コンテンツの多様な言語的表現を捉えることができない単言語モデルの限界を解消すること。
• 画像文書およびクロスリンガル文書類似度を同時に最適化する統合的な学習目的関数を開発すること。
• 画像文書ランク付け、意味的テキスト類似度、ニューラル機械翻訳再ランク付けなどの下流タスクでモデルを評価すること。
• 多言語信号が、評価時に1つの言語のみを用いても、単言語性能を向上させることを実証すること。

提案手法

• 各言語ごとに分離されたゲート付き再帰ユニット（GRU）エンコーダーを用い、単語レベル表現から文書埋め込みを生成する。
• 画像特徴をFC7層から抽出するため、事前学習済みのVGG-19 CNNを用い、それを共有埋め込み空間に射影する。
• 画像文書およびクロスリンガル文書類似度を組み込んだ、変更されたペairwise対照的損失関数を適用し、整列を改善する。
• すべての埋め込み（画像および文書）を単位ノルムに正規化し、コサイン類似度で類似度を計算する。
• ノイズ対比推定に基づく目的関数を用い、言語を跨ぐ一致（マッチド）ペアと不一致（アンマッチド）ペアを区別する。
• 翻訳品質の向上を目的に、モデルの類似度スコアを追加特徴として用いたNMTにおける再ランク戦略を採用する。

実験結果

リサーチクエスチョン

• RQ1 マルチリンガルかつマルチモーダルデータを共同で学習させることで、単言語モデルと比較して学習された埋め込みの質が向上するか？
• RQ2 訓練中にクロスリンガル文書類似度を組み込むと、画像文書検索および意味的類似度タスクのパフォーマンスにどのような影響を与えるか？
• RQ3 提案された埋め込みをn-best翻訳リストの再ランク付けに用いる場合、ニューラル機械翻訳の性能がどの程度向上するか？
• RQ4 同じ画像の複数言語の説明を含めることで、視覚的意味の一般化が向上するか？
• RQ5 βによって制御される内部および外部言語監視の間のトレードオフが、モデルパフォーマンスに与える影響はどの程度か？

主な発見

• 英語の画像文書ランク付けでは中央順位が8から5に向上し、ドイツ語では11から6に改善され、検索パフォーマンスの顕著な向上が示された。
• SemEval 2014および2015のドメイン内STSタスクにおいて、それぞれピアソン相関係数が0.821および0.864を達成し、単言語ベースラインを上回った。
• ニューラル機械翻訳のn-bestリストの再ランク付けに用いた際、ベースラインNMTモデルと比較して+4.5 BLEUポイントの向上を示した。
• β=0.25を用いたMLMMEモデルによる再ランク付けでは、METEORスコアが+2.6ポイント向上し、TERスコアが-6.1ポイント低下した。
• NMT再ランク付けで最も良いパフォーマンスはβ=0.25で達成され、クロスリンガル整列への強い重み付けが翻訳品質の向上に寄与することが示された。
• 評価時に英語エンコーダーのみを用いても、訓練時にドイツ語の説明を含めることで英語パフォーマンスが向上し、特にβ値が低い場合に顕著であった。