[論文レビュー] Vocabulary Manipulation for Neural Machine Translation

Haitao Mi, Zhiguo Wang+1 more|arXiv (Cornell University)|May 10, 2016

Natural Language Processing Techniques参考文献 14被引用数 8

ひとこと要約

この論文では、ニューラル機械翻訳（NMT）のための文単位の語彙操作技術を提案する。この手法は、語/フレーズ翻訳モデルと頻出語から導出される動的に選択された小規模なターゲット語彙を文ごとに使用することで、計算コストを低減する。この方法により、大規模語彙NMTシステムよりも1.0 BLEUポイントの向上を達成するとともに、推論時間とメモリ使用量を顕著に削減し、文あたりの平均出力語彙サイズはわずか202語にまで減少する。

ABSTRACT

In order to capture rich language phenomena, neural machine translation models have to use a large vocabulary size, which requires high computing time and large memory usage. In this paper, we alleviate this issue by introducing a sentence-level or batch-level vocabulary, which is only a very small sub-set of the full output vocabulary. For each sentence or batch, we only predict the target words in its sentence-level or batch-level vocabulary. Thus, we reduce both the computing time and the memory usage. Our method simply takes into account the translation options of each word or phrase in the source sentence, and picks a very small target vocabulary for each sentence based on a word-to-word translation model or a bilingual phrase library learned from a traditional machine translation model. Experimental results on the large-scale English-to-French task show that our method achieves better translation performance by 1 BLEU point over the large vocabulary neural machine translation system of Jean et al. (2015).

研究の動機と目的

• 大規模語彙NMTシステムに伴う高い計算コストとメモリ使用量を低減すること。
• 統語的機械翻訳（SMT）のフレーズベースから得られる語対語およびフレーズ対フレーズ翻訳モデルを用いて、翻訳の曖昧さを組み込むことで翻訳品質を向上させること。
• カバレッジやパフォーマンスを損なわずに、文ごとの出力語彙サイズを小さくすること。
• 全ターゲット語彙ではなく、文ごとに特化した小規模な出力語彙を用いることで、トレーニングと推論を高速化すること。
• 従来のSMTの利点（高速なルール抽出）とエンドツーエンドNMTの利点（高品質な翻訳）を語彙の刈り込みによって統合すること。

提案手法

• 各ソース文に対して、文単位の出力語彙 $V_o$ が3つの要素の和集合として構築される：(1) 語/フレーズ翻訳モデルからのターゲット語、(2) 最も頻出する上位2,000語のターゲット語、(3) リファレンス翻訳からの語。
• トレーニング中、バッチ単位の語彙は、バッチ内の個々の文単位語彙を統合することで形成され、これらの語に関連するパラメータのみが更新される。
• トレーニングの各エポックの開始時に文をシャッフルすることで、各文がエポックごとに異なる語彙を経験するようになり、一般化性能が向上する。
• 推論（ビームサーチ）では、同じ語彙構築手順が文ごとに適用されるが、リファレンスが利用できないため、リファレンス語の成分は除かれる。
• 標準的なアテンションベースのNMTアーキテクチャを用いるが、各予測ステップで全ターゲット語彙 $V_y$ の代わりに、より小さな動的語彙 $V_o$ を使用する。
• ソフトマックス計算は $V_o$ のみで実行されるため、各予測ステップにおける計算コストが顕著に低減される。

実験結果

リサーチクエスチョン

• RQ1 動的に選択された小規模な文単位の出力語彙は、翻訳品質を損なわせることなくNMTの効率を向上させることができるか？
• RQ2 SMT由来の語/フレーズモデルを用いて翻訳の曖昧さを組み込むと、NMTのパフォーマンスにどのような影響を与えるか？
• RQ3 文単位語彙に含めるべき最適な上位-k頻出ターゲット語数は何か？
• RQ4 語彙操作によりトレーニングおよび推論時間を短縮できるか、かつBLEUスコアを維持または向上できるか？
• RQ5 語彙をエポックごとに動的にシャッフルすることで、モデルの一般化性能およびパフォーマンスにどのような影響を与えるか？

主な発見

• 提案手法は、大規模語彙NMTベースラインよりも1.0 BLEUポイントの向上を達成し、UNK置換後の英語→フランス語テストセットで35.11 BLEUに到達した。
• 文単位の出力語彙 $V_o$ の平均サイズは202語にまで低下し、先行研究で用いられた30,000語のベースラインと比べて14.5倍も小さくなった。
• 上位50語の頻出語のみを用いても、$V_o$ の平均サイズは202語に保たれ、開発セットでのBLEUスコアはわずか0.1ポイント低下した。
• トレーニング速度は顕著に向上した：バッチ語彙サイズを30,000に増加させると、提案手法と比較して1.5倍遅くなった。
• $V_o$ の3要素すべて（語/フレーズ翻訳、上位2,000語の頻出語、リファレンス語）を組み合わせた場合にモデルの性能が最も良く、個別に除外したアブレーション実験では34.20および34.23 BLEUのスコアが得られた。
• 学習曲線は7エポック目で収束し、語彙埋め込みを固定した5エポック以降に顕著な改善が見られなかったため、提案手法による安定した学習が確認された。