[論文レビュー] From Words to Sentences: A Progressive Learning Approach for Zero-resource Machine Translation with Visual Pivots

Shizhe Chen, Qin Jin+1 more|arXiv (Cornell University)|Jun 3, 2019

Natural Language Processing Techniques参考文献 24被引用数 9

ひとこと要約

本稿では、意味的に乖離したキャプションに起因するノイズの多い教師信号を克服するために、画像を視覚的ピボットとして用いる、ゼロリソースニューラル機械翻訳のための段階的学習アプローチを提案する。まず画像領域に根ざした単語レベルの翻訳を学習し、その後、トークンレベルの再重み付けと自己符号化を用いて文レベルの翻訳を精緻化することで、IAPR-TC12およびMulti30kで翻訳品質を著しく向上させ、最先端の画像ピボット手法を上回る性能を達成する。

ABSTRACT

The neural machine translation model has suffered from the lack of large-scale parallel corpora. In contrast, we humans can learn multi-lingual translations even without parallel texts by referring our languages to the external world. To mimic such human learning behavior, we employ images as pivots to enable zero-resource translation learning. However, a picture tells a thousand words, which makes multi-lingual sentences pivoted by the same image noisy as mutual translations and thus hinders the translation model learning. In this work, we propose a progressive learning approach for image-pivoted zero-resource machine translation. Since words are less diverse when grounded in the image, we first learn word-level translation with image pivots, and then progress to learn the sentence-level translation by utilizing the learned word translation to suppress noises in image-pivoted multi-lingual sentences. Experimental results on two widely used image-pivot translation datasets, IAPR-TC12 and Multi30k, show that the proposed approach significantly outperforms other state-of-the-art methods.

研究の動機と目的

• 同じ画像に対する多言語キャプションがしばしば異なる側面を記述するため、画像ピボット型ゼロリソース機械翻訳におけるノイズの多い教師信号の課題に対処すること。
• より単純で曖昧さの少ない単語レベルの翻訳から、より複雑な文レベルの翻訳へと進む人間のような言語学習を模倣すること。
• 学習済みの単語翻訳を用いて、翻訳対の再重み付けと精緻化を行うことで、キャプションの意味的不一致の影響を低減すること。
• 画像ピボット型単語翻訳から得た多言語単語埋め込みを事前知識として用い、言語に依存しない自己符号化を用いて、クロスリンガル文表現の学習を強化すること。

提案手法

• まず、画像に固定された単語表現を用いて、信頼性の高いクロスリンガル単語アライメントを学習する単語レベル翻訳モデルを訓練する。
• 次に、画像ピボット型文ペアに対して、単語レベルモデルで特定された高信頼度翻訳トークンに注目するトークンレベルの再重み付け戦略を適用する。
• 言語に依存しない文表現を学習するために、単語レベル埋め込みを事前知識として用いた多言語自己符号化損失を導入する。
• 文レベル翻訳モデルは、ノイズの多い文ペア用の再重み付けされた交差エントロピー損失と、表現学習用の自己符号化損失の両方の損失関数を同時に最適化する。
• このアプローチは、画像キャプションモデルを用いて初期の多言語文ペアを生成するが、単語レベルの知識を活用して教師信号をフィルタリング・精緻化する。
• 全体のパイプラインは段階的学習スケジュールに従う：まず単語レベル翻訳を訓練し、その後、単語モデルの出力をインダクティブバイアスとして用いて文レベル翻訳を訓練する。

実験結果

リサーチクエスチョン

• RQ1 画像に固定された領域からの単語レベル翻訳の学習は、文レベルのゼロリソース翻訳のロバストネスを向上させるか？
• RQ2 画像ピボット型文ペアのトークンレベル再重み付けは、ゼロリソース翻訳におけるノイズキャプションの影響をどの程度低減できるか？
• RQ3 事前に得た多言語単語表現を用いた言語に依存しない文自己符号化は、どの程度有効か？
• RQ4 段階的学習の順序（まず単語、次に文）は、ゼロリソース環境において、同時学習や逆順学習よりも優れた性能を発揮するか？

主な発見

• IAPR-TC12データセットでは、提案手法がドイツ語→英語翻訳でBLEU-4スコア61.3を達成し、以前の最先端の画像ピボット型手法を著しく上回った。
• Multi30kデータセットでは、ドイツ語→英語翻訳でBLEU-4スコア23.0を達成し、データセット間での強力な一般化性能を示した。
• アブレーションスタディの結果、段階的学習戦略を削除するとスコアが最大10 BLEUポイント低下し、単語レベル事前学習の重要性が裏付けられた。
• IAPR-TC12のドイツ語→英語翻訳において、提案手法はゼロ平行データを用いながらも、18,000組の並列データで学習した完全な教師ありNMTモデルの75％の性能に達した。
• 翻訳性能は画像キャプションモデルの品質に比例しており、より良いキャプション生成がより良いゼロリソース翻訳をもたらすことを示唆している。
• トークンレベルの再重み付け機構は、クリーンな翻訳ペアを高くランク付けし、ノイズの多いキャプションペアからも細粒度の教師信号を提供できた。