[論文レビュー] Attention Focusing for Neural Machine Translation by Bridging Source and Target Embeddings

Shaohui Kuang, Junhui Li+3 more|arXiv (Cornell University)|Nov 15, 2017

Natural Language Processing Techniques参考文献 19被引用数 3

ひとこと要約

本稿では、ニューラル機械翻訳（NMT）におけるソース語埋め込みとターゲット語埋め込みの距離を短くすることで、語の対応付けと翻訳品質を向上させる3つのブリッジングモデル——ソース側ブリッジ、ターゲット側ブリッジ、直接ブリッジ——を提案する。seq2seqフレームワーク内でのソースとターゲットの埋め込みをより密接に統合することで、対応付けの正確性が著しく向上し、過剰翻訳・不足翻訳が減少する。外部リソースを一切用いないにもかかわらず、標準NMTを上回る性能を発揮する。

ABSTRACT

In neural machine translation, a source sequence of words is encoded into a vector from which a target sequence is generated in the decoding phase. Differently from statistical machine translation, the associations between source words and their possible target counterparts are not explicitly stored. Source and target words are at the two ends of a long information processing procedure, mediated by hidden states at both the source encoding and the target decoding phases. This makes it possible that a source word is incorrectly translated into a target word that is not any of its admissible equivalent counterparts in the target language. In this paper, we seek to somewhat shorten the distance between source and target words in that procedure, and thus strengthen their association, by means of a method we term bridging source and target word embeddings. We experiment with three strategies: (1) a source-side bridging model, where source word embeddings are moved one step closer to the output target sequence; (2) a target-side bridging model, which explores the more relevant source word embeddings for the prediction of the target sequence; and (3) a direct bridging model, which directly connects source and target word embeddings seeking to minimize errors in the translation of ones by the others. Experiments and analysis presented in this paper demonstrate that the proposed bridging models are able to significantly improve quality of both sentence translation, in general, and alignment and translation of individual source words with target words, in particular.

研究の動機と目的

• 長大な隠れ状態シーケンスにわたって、ソース語とターゲット語の意味的つながりが失われる、ニューラル機械翻訳（NMT）における語の対応付けの悪さを是正すること。
• SMTでは稀であるが、NMTでは頻発する誤った対応付け（例：'eos' と 'late' が対応づけられる、'winter olympics' とコマが対応づけられる）を低減すること。
• SMTの語の対応づけや語彙表といった外部リソースに依存せずに、ソース語とターゲット語の埋め込み間の関連性を強化すること。
• 学習データから直接より妥当な翻訳ペアを学習可能にすることで、翻訳品質を向上させること。

提案手法

• ソース側ブリッジ：各ソース語の埋め込みを、それに該当するソース隠れ状態と連結することで、注目機構が関連するソース語に集中するように改善する。
• ターゲット側ブリッジ：注目重みに基づいて高注目度のソース語を選別し、デコード段階でそれらをターゲット隠れ状態により密接に統合する。
• 直接ブリッジ：ソース埋め込みを直接ターゲット埋め込みにマッピングする線形変換行列を学習し、翻訳誤りを最小限に抑える。
• ブリッジメカニズムは、最小限のアーキテクチャ的変更で標準seq2seq NMTアーキテクチャに統合され、エンドツーエンド学習を維持する。
• すべてのモデルは、追加の監視信号や事前学習済みの対応づけデータを用いずに、標準NMTの目的関数に従ってエンドツーエンドで学習される。
• 直接ブリッジモデルは、各ソース語に対して最も近いターゲット語埋め込みを学習した変換行列を用い、SMT語彙表を模倣する。

実験結果

リサーチクエスチョン

• RQ1 NMT処理チェーン内でのソース語埋め込みとターゲット語埋め込みの距離を短くすることで、語の対応付け品質が向上するか？
• RQ2 ソース語とターゲット語の埋め込みをブリッジすることで、NMTにおける過剰翻訳・不足翻訳の問題が軽減されるか？
• RQ3 外部のSMT語の対応づけや語彙辞書に依存せずに、より正確な翻訳ペアをモデルが学習できるか？
• RQ4 ソース側、ターゲット側、直接の3つの異なるブリッジ戦略は、対応付けと翻訳品質の向上においてどのように比較されるか？

主な発見

• 提案されたブリッジングモデルは、中国語→英語翻訳において、標準NMTベースラインを著しく上回る翻訳品質を達成する。
• 直接ブリッジモデルは、SMT語彙表と非常に類似した翻訳ペアを生成し、妥当な翻訳同等物との強い対応づけを示している。
• 誤った対応づけ（例：'eos' と 'late'、'winter olympics' とコマ）の発生頻度が、ベースラインNMTでは最大50％に達するが、本モデルではこれを低減する。
• 実験により、ブリッジメカニズムが語の対応づけ品質を向上させ、過剰翻訳・不足翻訳の問題を緩和することが確認された。
• 直接ブリッジモデルは、ソース埋め込みを最も可能性の高いターゲット対応物に効果的にマッピングする変換行列を学習しており、翻訳同等性を捉える強力な能力を示している。
• 分析により、ブリッジング手法がモデルがより好ましいソース・ターゲット語ペアを学習するのを助け、全体的な翻訳品質と局所的な対応づけの正確性の両方を向上させていることが確認された。