[論文レビュー] Unsupervised Multimodal Neural Machine Translation with Pseudo Visual Pivoting

Po-Yao Huang, Junjie Hu+2 more|arXiv (Cornell University)|May 6, 2020

Multimodal Machine Learning Applications参考文献 46被引用数 5

ひとこと要約

本論文は、潜在空間内の多言語間アライメントを向上させるために視覚的コンテンツを仮想ピボットとして使用する、新しい非教師ありマルチモーダルニューラル機械翻訳フレームワークを提案する。共通の多言語視覚的意味的埋め込み空間を学習し、実際の画像を条件として二か国語の疑似キャプション文を生成することで、Multi30Kで最先端の性能を達成するとともに、テスト時に画像が存在しない状況でも良好な一般化性能を示す。

ABSTRACT

Unsupervised machine translation (MT) has recently achieved impressive results with monolingual corpora only. However, it is still challenging to associate source-target sentences in the latent space. As people speak different languages biologically share similar visual systems, the potential of achieving better alignment through visual content is promising yet under-explored in unsupervised multimodal MT (MMT). In this paper, we investigate how to utilize visual content for disambiguation and promoting latent space alignment in unsupervised MMT. Our model employs multimodal back-translation and features pseudo visual pivoting in which we learn a shared multilingual visual-semantic embedding space and incorporate visually-pivoted captioning as additional weak supervision. The experimental results on the widely used Multi30K dataset show that the proposed model significantly improves over the state-of-the-art methods and generalizes well when the images are not available at the testing time.

研究の動機と目的

• 視覚的コンテンツを共有参照として用いることで、非教師ありニューラル機械翻訳（NMT）における劣悪な多言語間文アライメントの課題に取り組む。
• 第三言語ピボットの限界を克服するため、生物学的に根拠のある、言語に依存しないアライメント信号としての視覚的認識を活用する。
• 異なる言語間の分離された画像-文ペアを用いて、共有の多言語視覚的意味的埋め込み空間を学習することで、非教師ありMMTの性能を向上させる。
• 二か国語での合成画像ピボットキャプションを通じて弱教師付きの訓練信号を生成し、並列データが存在しない状況でもバックトランスレーションを可能にする。
• Multi30Kで最先端の結果を達成するとともに、画像が利用できないテキスト専用の推論状況でも強力な一般化性能を維持する。

提案手法

• 共通の視覚的意味的埋め込み空間内で多言語文表現を視覚的コンテンツを仮想ピボットとしてアライメントする。
• 異なる言語からの分離された画像-文ペアを用いて、対照的損失を用いて多言語視覚的意味的埋め込み（VSE）モデルを訓練する。
• 実際の画像を条件として、ソース言語およびターゲット言語の両方で疑似キャプションを合成し、バックトランスレーションのための弱い監督信号を生成する。
• 翻訳およびキャプション生成モジュールの両方でトランスフォーマーに基づくアーキテクチャを採用し、マルチモーダルバックトランスレーションをエンドツーエンドで訓練可能にする。
• 二段階の訓練プロセスを適用する：まずモノリンガル言語モデルおよびVSEを事前学習し、次に再構成目的を伴って翻訳とキャプションを同時に最適化する。
• オブジェクト検出特徴を組み込んで視覚的表現を豊かにし、画像領域と対応する文トークンの間のアライメントを向上させる。

実験結果

リサーチクエスチョン

• RQ1 視覚的コンテンツは、非教師ありマルチモーダルNMTにおける多言語間アライメントを向上させる有効で、言語に依存しないピボットとして機能できるか？
• RQ2 異なる言語間で分離された画像-文ペアをどのように活用して、共有の多言語視覚的意味的埋め込み空間を学習できるか？
• RQ3 二か国語での合成的、画像条件付きキャプションは、並列データが存在しない非教師ありNMTに対して有効な弱い監督信号を提供できるか？
• RQ4 提案された疑似視覚ピボット手法は、テスト時に画像が利用できないテキスト専用の推論設定にも一般化できるか？
• RQ5 BLEUおよびMETEORスコアの観点から、既存の非教師ありMMT手法に比べて、このモデルはどの程度優れているか？

主な発見

• 提案モデルは、英語→フランス語翻訳タスクでBLEUスコア65.5、METEORスコア79.1を達成し、Multi30Kにおける先行研究の最先端手法を顕著に上回る。
• 英語→ドイツ語翻訳では、BLEUスコア42.3、METEORスコア60.6を達成し、言語ペアを問わず強力な性能を示している。
• モデルはテキスト専用の推論に優れた一般化性能を示し、テスト時に画像が存在しない状況でも高い性能を維持している。
• アブレーションスタディの結果、共有の多言語VSE空間と疑似キャプション生成コンポーネントの両方が性能向上に顕著な寄与をしていることが確認された。
• オブジェクトレベルの視覚的特徴の使用により、グローバル画像埋め込みに比べてアライメント品質が向上し、多言語間文マッチングの性能が向上した。
• 特にリソースが限られた状況やゼロショット設定において、Game-MMT や UMMT などの既存の非教師ありMMT手法を上回っている。