[論文レビュー] Neural Machine Translation Advised by Statistical Machine Translation

Xing Wang, Zhengdong Lu+4 more|arXiv (Cornell University)|Oct 17, 2016

Natural Language Processing Techniques参考文献 32被引用数 9

ひとこと要約

本論文は、デコード中に語の推奨を提供することで翻訳品質を向上させる統計的機械翻訳（SMT）モデルを統合した、新規なエンドツーエンドのニューラル機械翻訳（NMT）フレームワークを提案する。NMTとSMTの出力を動的にブレンドする学習可能なゲーティング機構と、SMTの提案をスコアリングする補助分類器を共同で訓練することで、中国語-英語NISTベンチマークでNMTベースライン比2.44、Moses SMT比3.21のBLEUスコア向上を達成した。

ABSTRACT

Neural Machine Translation (NMT) is a new approach to machine translation that has made great progress in recent years. However, recent studies show that NMT generally produces fluent but inadequate translations (Tu et al. 2016b; Tu et al. 2016a; He et al. 2016; Tu et al. 2017). This is in contrast to conventional Statistical Machine Translation (SMT), which usually yields adequate but non-fluent translations. It is natural, therefore, to leverage the advantages of both models for better translations, and in this work we propose to incorporate SMT model into NMT framework. More specifically, at each decoding step, SMT offers additional recommendations of generated words based on the decoding information from NMT (e.g., the generated partial translation and attention history). Then we employ an auxiliary classifier to score the SMT recommendations and a gating function to combine the SMT recommendations with NMT generations, both of which are jointly trained within the NMT architecture in an end-to-end manner. Experimental results on Chinese-English translation show that the proposed approach achieves significant and consistent improvements over state-of-the-art NMT and SMT systems on multiple NIST test sets.

研究の動機と目的

• NMTの限界、例えばカバレッジ問題、不正確な翻訳、UNK語の問題を、SMTの強みを活用することで是正する。
• NMTが滑らかではあるが、ときには不正確な翻訳を示す問題を、SMTが源語語のカバレッジを確保し、レア語を処理できる能力を組み込むことで克服する。
• NMTをブラックボックスとして扱うのではなく、SMTの推奨をNMTの訓練およびデコードプロセスに直接統合する。
• 学習可能なゲーティング機構を用いて、NMTの生成物とSMTが提供する語の推奨を動的に結合することで翻訳品質を向上させる。
• 注意とカバレッジ情報に従って、推論中に語彙外語（UNK）トークンの置き換えにSMTの推奨を用いることで、UNK問題を軽減する。

提案手法

• NMTに使用された同一の双方向並列コーパス上で、事前にパラフレーズベースSMTモデルを独立して訓練する。
• 各デコードステップで、現在のNMT生成部分訳と注目（attention）履歴に基づいてSMTの推奨を生成する。
• SMT推奨の関連性と品質を評価する能力を学ぶために、補助分類器を用いる。
• デコードの文脈に基づいて、NMTが生成する語の確率とSMTの推奨を動的に結合する微分可能ゲーティング関数を採用する。
• バックプロパゲーションを用いて、NMTモデル、SMT分類器、ゲーティング関数をエンドツーエンドで共同で訓練する。
• 推論段階では、NMTの注目情報とSMTのカバレッジ情報を考慮して、SMTモデルがUNKトークンの置き換えを推奨する。

実験結果

リサーチクエスチョン

• RQ1 SMTの推奨は、滑らかさを損なわずにNMTの訳出の的確さと適切さを向上させることができるか？
• RQ2 学習可能なゲーティング機構は、デコード中にNMTとSMT出力を動的にバランスさせるのにどの程度効果的か？
• RQ3 推論段階だけでなく訓練段階でもSMTを統合することで、ヒューリスティックな組み合わせ手法よりも優れた性能が得られるか？
• RQ4 SMTベースの推奨は、NMTにおけるUNK語問題を効果的に緩和できるか？
• RQ5 SMT推奨の品質が、ハイブリッドモデル全体の翻訳性能にどのように影響するか？

主な発見

• 提案手法は、5つの中国語-英語NISTテストセットにおいて、NMTベースライン比2.44 BLEUポイントの向上を達成した。
• Moses SMTシステム比でも3.21 BLEUポイントの向上を示し、強力な競合性能を示した。
• アブレーションスタディの結果、SMT推奨を削除すると1.55 BLEUポイントの性能低下が生じ、それらの必要性が裏付けられた。
• 動的ゲーティング機構を削除すると2.09 BLEUポイントのスコア低下が発生し、NMTとSMT出力のバランスを保つ上でその機構の重要性が確認された。
• 低品質またはランダムなSMT推奨を使用すると1.54 BLEUポイントの性能低下が生じ、高品質なSMT推奨の重要性が浮き彫りになった。
• ゲーティング関数と分類器のエンドツーエンドでの共同訓練により、訓練段階および推論段階でSMTのガイダンスを効果的に学習統合できるようになった。