[論文レビュー] Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation

Yonghui Wu, Mike Schuster+29 more|arXiv (Cornell University)|Sep 26, 2016

Natural Language Processing Techniques参考文献 4被引用数 5,643

ひとこと要約

GNMTは深いLSTMエンコーダ/デコーダ、残差接続、wordpieceサブワード単位、量子化推論を備えた生産向けNMTシステムで、競争力のBLEUスコアとフレーズベース系に対する人間評価の大幅な改善を実現する。

ABSTRACT

Neural Machine Translation (NMT) is an end-to-end learning approach for automated translation, with the potential to overcome many of the weaknesses of conventional phrase-based translation systems. Unfortunately, NMT systems are known to be computationally expensive both in training and in translation inference. Also, most NMT systems have difficulty with rare words. These issues have hindered NMT's use in practical deployments and services, where both accuracy and speed are essential. In this work, we present GNMT, Google's Neural Machine Translation system, which attempts to address many of these issues. Our model consists of a deep LSTM network with 8 encoder and 8 decoder layers using attention and residual connections. To improve parallelism and therefore decrease training time, our attention mechanism connects the bottom layer of the decoder to the top layer of the encoder. To accelerate the final translation speed, we employ low-precision arithmetic during inference computations. To improve handling of rare words, we divide words into a limited set of common sub-word units ("wordpieces") for both input and output. This method provides a good balance between the flexibility of "character"-delimited models and the efficiency of "word"-delimited models, naturally handles translation of rare words, and ultimately improves the overall accuracy of the system. Our beam search technique employs a length-normalization procedure and uses a coverage penalty, which encourages generation of an output sentence that is most likely to cover all the words in the source sentence. On the WMT'14 English-to-French and English-to-German benchmarks, GNMT achieves competitive results to state-of-the-art. Using a human side-by-side evaluation on a set of isolated simple sentences, it reduces translation errors by an average of 60% compared to Google's phrase-based production system.

研究の動機と目的

• 初期のニューラル機械翻訳の欠点である訓練/推論速度、希少語の扱い、及び出典側と対象側のカバレッジの不完全さを解消する。
• 精度と訓練速度を向上させるため、深いLSTM層と残差接続を備えた生産対応の GNMT システムを開発する。
• サブワード単位（wordpieces）を用いた希少語に対応し、長さ正規化とカバレッジペナルティを組み込んだ頑健なビーム探索を行う。
• モデル/量子化技術とハードウェア（TPU）最適化を用いて推論速度を向上させる。
• 標準ベンチマークで競争力のある性能を示し、フレーズベースシステムに対する人間評価で有意な改善を示す。

提案手法

• 残差接続を備えた8層のエンコーダと8層のデコーダからなる深いLSTMスタックを用いる。
• 並列性を保ちながら文脈を最大化するため、下層のエンコーダ層を双方向に適用する。
• ソース言語とターゲット言語で共有されるwordpieceサブワード単位を導入して希少語に対応する。
• 長さ正規化とカバレッジペナルティを組み込んだビーム探索を実装する。
• 最大尤度目的で訓練し、任意で混合MLと報酬ベースの目的（GLEUベースの報酬）で洗練させる。
• 特定のハードウェア上でデコードを加速するため、8ビットの重みと16ビットの累積演算子を用いた量子化推論を採用する。

実験結果

リサーチクエスチョン

• RQ1 残差接続を持つ深いNMTモデルとサブワード単位は、標準ベンチマークで人間の翻訳品質に近づくことができるか？
• RQ2 量子化推論は翻訳品質を犠牲にすることなく、生産グレードの速度向上を実現できるか？
• RQ3 結合されたwordpiece表現は、希少語の扱いと全体のBLEUスコアを、単語ベースや文字ベースの基準と比べて改善するか？
• RQ4 ビーム探索におけるカバレッジペナルティと長さ正規化は、言語間で翻訳の完全性を向上させるか？

主な発見

• WMT’14 English→Frenchでは、GNMTは単一モデルで38.95 BLEUを達成し、外部アライメントモデルなしのベースラインを7.5 BLEU上回り、別のベースラインを1.2 BLEU上回っている。
• WMT’14 English→GermanでGNMTは24.17 BLEUを記録し、競合する従来のベースラインより約3.4 BLEU高い。
• 人間による並比較評価で、English↔French、English↔Spanish、English↔Chineseのペアで、Googleのフレーズベース製品システムと比較して翻訳誤りを60%削減した。
• 生産データの結果は、選択された言語ペアで平均的な人間翻訳者の品質に近づくことを示している（論文の主張による）。
• Wordpieceベースのモデルは、語彙の柔軟性とデコーディングの効率を効果的にバランスさせ、純粋な語単位または文字ベースのアプローチと比較してBLEUを改善する。
• 量子化推論は、CPU、GPU、TPUのデプロイでの比較によって、翻訳品質の最小限またはほとんど損失なしにデコードを高速化することを可能にする。