[論文レビュー] Multimodal Machine Translation with Embedding Prediction

Tosho Hirasawa, Hayahide Yamagishi+2 more|arXiv (Cornell University)|Apr 1, 2019

Natural Language Processing Techniques参考文献 16被引用数 6

ひとこと要約

本論文は、事前学習済み単語埋め込みを統合することで、希少語の翻訳を向上させるマルチモーダルニューラル機械翻訳モデルを提案する。事前学習済み語彙からの最近傍探索を伴う単語埋め込みの予測により、希少語で+7.67 Fスコア、ベースライン比+2.49 BLEUを達成し、リソースが限られた状況や希少語の翻訳において優れた性能を示している。

ABSTRACT

Multimodal machine translation is an attractive application of neural machine translation (NMT). It helps computers to deeply understand visual objects and their relations with natural languages. However, multimodal NMT systems suffer from a shortage of available training data, resulting in poor performance for translating rare words. In NMT, pretrained word embeddings have been shown to improve NMT of low-resource domains, and a search-based approach is proposed to address the rare word problem. In this study, we effectively combine these two approaches in the context of multimodal NMT and explore how we can take full advantage of pretrained word embeddings to better translate rare words. We report overall performance improvements of 1.24 METEOR and 2.49 BLEU and achieve an improvement of 7.67 F-score for rare word translation.

研究の動機と目的

• 限られた学習データのため、マルチモーダルNMTが希少語で性能を発揮できない問題に対処すること。
• 事前学習済み単語埋め込みをマルチモーダル翻訳で効果的に活用する方法を調査すること。
• 標準的なNMTを超えて、埋め込み予測が希少語翻訳を改善するかを検討すること。
• 事前学習済み埋め込みをエンコーダーとデコーダーの異なるネットワーク部品に初期化した際の影響を評価すること。
• 視覚的特徴と画像前処理の最適な使用法が、埋め込み予測の文脈においてどうなるかを特定すること。

提案手法

• 語彙上のソフトマックスではなく、ターゲット単語埋め込みを予測する埋め込み予測ヘッドをIMAGINATIONモデルに拡張する。
• ゴール単語の埋め込みに近づき、ネガティブサンプルから遠ざかるように学習するマージンベースのランク学習損失を用いる。
• 最終出力語を決定するために、事前学習済み埋め込み空間における最近傍探索を適用する。
• デコーダー埋め込み層をFastText埋め込みで初期化し、学習中に固定することで意味的構造を保持する。
• 画像と文の表現を共同最適化する視覚的潜在空間モデリングを用いたマルチタスク学習を適用する。
• マルチタスク設定における視覚的特徴の整合性を向上させるために、画像のデバイアス処理を適用する。

実験結果

リサーチクエスチョン

• RQ1 事前学習済み単語埋め込みを用いた埋め込み予測は、特に希少語においてマルチモーダルNMTの性能を向上させることができるか？
• RQ2 事前学習済み埋め込みをデコーダーに初期化すると、エンコーダーに初期化するよりも優れた結果が得られるか？
• RQ3 画像前処理、特にデバイアス処理は、マルチモーダルNMTにおける埋め込み予測の性能にどのように影響するか？
• RQ4 モノリンガルコーパスを用いた埋め込みの事前学習が、マルチモーダル翻訳設定においてどのような影響を及ぼすか？
• RQ5 希少語翻訳の正確性が向上する一方で、文の流れは維持されているか？

主な発見

• 提案モデルは希少語翻訳で7.67 Fスコアの向上を達成し、ベースラインを著しく上回った。
• 全体的な翻訳性能も2.49 BLEUおよび1.24 METEOR向上を達成し、一般性能の強化が明確に示された。
• デコーダーを事前学習済みFastText埋め込みで初期化すると+1.80 BLEU、エンコーダーで初期化すると+0.11 BLEUにとどまり、デコーダー特有の利点が顕著に現れた。
• 埋め込み層の微調整は性能を低下させたため、固定された事前学習済み埋め込みが希少語に注目するのを助けることが示唆された。
• 画像のデバイアス処理は、マルチタスク学習設定における視覚的特徴の有効な使用に不可欠であり、元の画像では性能が悪化した。
• モデルは『voûte』を『archway』に正しく翻訳したが、ベースラインモデルは『arch』や『monument』といったより頻出する同義語を好む傾向にあった。