[論文レビュー] Neural Machine Translation with Word Predictions

Rongxiang Weng, Shujian Huang+3 more|arXiv (Cornell University)|Aug 5, 2017

Natural Language Processing Techniques参考文献 18被引用数 11

ひとこと要約

本稿では、ニューラル機械翻訳（NMT）モデルの隠れ状態を直接的に監視するための単語予測メカニズムを提案する。追加データを必要とせず、表現学習を向上させる。エンコーダーおよびデコーダーの隠れ状態をターゲット語を予測するように訓練することで、翻訳品質が向上（中国語-英語でBLEUが4.53ポイント向上、ドイツ語-英語で1.3ポイント向上）し、語彙削減によるデコーディング効率も向上する。

ABSTRACT

In the encoder-decoder architecture for neural machine translation (NMT), the hidden states of the recurrent structures in the encoder and decoder carry the crucial information about the sentence.These vectors are generated by parameters which are updated by back-propagation of translation errors through time. We argue that propagating errors through the end-to-end recurrent structures are not a direct way of control the hidden vectors. In this paper, we propose to use word predictions as a mechanism for direct supervision. More specifically, we require these vectors to be able to predict the vocabulary in target sentence. Our simple mechanism ensures better representations in the encoder and decoder without using any extra data or annotation. It is also helpful in reducing the target side vocabulary and improving the decoding efficiency. Experiments on Chinese-English and German-English machine translation tasks show BLEU improvements by 4.53 and 1.3, respectively

研究の動機と目的

• エンドツーエンドNMTにおける隠れ状態への直接的監視の欠如が、不安定で最適でない表現を生じる可能性があるという問題に対処する。
• 単語予測目的を導入することで、エンコーダーおよびデコーダーの文表現の質を向上させる。
• 語彙削減に語彙予測子を用いることで、デコーディング効率を向上させる。
• 追加のアノテーション、データ、またはモデルを必要としないトレーニング時メカニズムを提供する。

提案手法

• デコーダーの初期隠れ状態を、ターゲット文のすべての語を予測するように訓練することで、エンコーダー出力に対する直接的監視を提供する。
• このメカニズムをデコーダーのすべての隠れ状態に拡張し、状態間の遷移を制御可能にする。
• デコーダーの隠れ状態に単語予測ヘッドを追加し、ターゲット語彙上でのクロスエントロピー損失を計算する。
• この手法はトレーニング時のみに適用され、推論コストを追加しないため、実装に優れた効率性を発揮する。
• デコーディング時に語彙予測子を用いてターゲット語彙をフィルタリングし、探索空間を縮小して速度を向上させる。
• 標準的なアテンションベースNMTに統合されており、双方向RNNを用い、アーキテクチャの変更を必要としない。

実験結果

リサーチクエスチョン

• RQ1 単語予測による隠れ状態の直接的監視がNMT性能を向上させるか？
• RQ2 初期状態をターゲット語を予測するように訓練することで、より良い文表現が得られるか？
• RQ3 翻訳品質に悪影響を及げず、ターゲット語彙サイズを削減できるか？
• RQ4 翻訳精度を維持または向上させながら、デコーディング効率を向上させるか？
• RQ5 異なる言語対にわたり、追加データなしで語彙予測メカニズムが有効か？

主な発見

• 提案された単語予測メカニズムにより、中国語-英語翻訳タスクでBLEUスコアが4.53ポイント向上した。
• ドイツ語-英語翻訳タスクでも1.3ポイントのBLEUスコア向上を達成した。
• 語彙予測子により、有効なターゲット語彙サイズが削減され、デコーディングの高速化が顕著に実現された。
• 翻訳誤りが減少し、特に「advertising」のようなキーワードや「time warner inc.」のような固有名詞がベースラインモデルで見過ごされがちな問題が改善された。
• より大きな語彙を用いずとも、ドロップアウトやアンサンブル手法を上回る翻訳品質の向上が得られた。
• 追加のアノテーション、アライメント、外部データを必要とせず、語彙予測メカニズムが有効であることが示された。