[論文レビュー] Is Neural Machine Translation Ready for Deployment? A Case Study on 30 Translation Directions

Marcin Junczys-Dowmunt, Tomasz Dwojak+1 more|arXiv (Cornell University)|Oct 4, 2016

Natural Language Processing Techniques参考文献 17被引用数 150

ひとこと要約

この論文は、UN Parallel Corpus v1.0 の 30 翻訳方向にわたって、フレーズベース SMT、階層 PB-SMT、ニューラル MT (NMT) を比較し、効率的なデコードとデプロイメントを考慮した AmuNMT を導入します。

ABSTRACT

In this paper we provide the largest published comparison of translation quality for phrase-based SMT and neural machine translation across 30 translation directions. For ten directions we also include hierarchical phrase-based MT. Experiments are performed for the recently published United Nations Parallel Corpus v1.0 and its large six-way sentence-aligned subcorpus. In the second part of the paper we investigate aspects of translation speed, introducing AmuNMT, our efficient neural machine translation decoder. We demonstrate that current neural machine translation could already be used for in-production systems when comparing words-per-second ratios.

研究の動機と目的

• ニューラル機械翻訳が UN Parallel Corpus v1.0 からの 30 翻訳方向に対して、フレーズベース SMT および Hiero と比較してどのように機能するかを評価する。
• デコード速度、待機時間、効率性を含む実運用展開の側面を評価する。
• 実用展開のための効率的な NMT デコーダとして AmuNMT を導入・評価する。

提案手法

• 30k のサブワード単位 (BPE) を用いた注意機構付きエンコーダ-デコーダ (Nematus) による NMT モデルの訓練、6 言語の UN 言語間。
• UN 6 言語の完全整列サブコーパスと各方向につき 4,000 文の開発セットおよび 4,000 文のテストセットを用いて、NMT を PB-SMT および Hiero と比較。
• 全 30 指向の BLEU と、英語を含む対は Hiero ＋ 拡張 NMT 訓練（最大 2.4M イテレーション）で評価。
• 大規模語彙問題を緩和するために Moses トークナイザー、Chinese 分割の Jieba、BPE 分割などの前処理を使用。
• AmuNMT の開発と評価、マルチ GPU/CPU 対応の効率的な C++ ビームサーチデコーダー、語彙選択、およびサブワード統合。

実験結果

リサーチクエスチョン

• RQ1 NMT は、イン-domain の大規模設定において 30 の UN 翻訳方向全体で PB-SMT を上回る競争力を持つか。
• RQ2 NERChinese を含む言語対における NMT の BLEU 増分は PB-SMT と比較してどれほどか。
• RQ3 Hiero は PB-SMT より優れているのか、拡張 NMT 訓練が性能にどのような影響を与えるか。
• RQ4 AmuNMT は Moses や Nematus と比較して生産向けのデコード速度と待機時間を提供できるか。

主な発見

• NMT は 30 指向すべてで PB-SMT と同等かそれを上回り、中国語を含む方向およびアラビア語方向で顕著な BLEU 増分を示す。
• 中国語を含む言語対では、PB-SMT よりも NMT が 7–9 BLEU 点の改善をもたらす。
• Hiero は中国語-英語で PB-SMT より優れているが、NMT の改善水準には達していない；拡張 NMT 訓練（最大 2M イテレーション）によりいくつかの対で追加の利益（0.3–1.3 BLEU）を得る。
• AmuNMT は特に GPU 上で競争力のあるまたは上回るデコード速度を提供し、単一 GPU と語彙選択を組み合わせると 865–1,192 単語/秒を達成可能；個々の文翻訳シナリオで待機時間を大幅に削減する。
• 直近4チェックポイントのアンサンブルでは BLEU が最大約 2 点程度向上し、8 チェックポイント平均では設定により同様の結果となる場合がある。
• CPU のみの AmuNMT および単一 GPU 構成は実運用の選択肢となり得る。AmuNMT は 10 秒未満で起動し、CPU ベースの翻訳も特定のスループット状況で生産向けに実現可能。