[論文レビュー] Translating Phrases in Neural Machine Translation

Xing Wang, Zhaopeng Tu+2 more|arXiv (Cornell University)|Aug 7, 2017

Natural Language Processing Techniques参考文献 43被引用数 11

ひとこと要約

この論文では、語彙ベースのSMTシステムによって強化されたフレーズメモリを統合することで、NMTにおけるフレーズレベル翻訳を可能にする、新しいニューラル機械翻訳モデルを提案する。NMTの文脈を用いてSMTにより動的にターゲットフレーズを生成し、バランスレーターを介してスコアリングすることで、翻訳品質が向上し、中国語→英語翻訳タスクにおいて標準的なアテンションベースのNMTより1.07 BLEUポイントの向上を達成した。

ABSTRACT

Phrases play an important role in natural language understanding and machine translation (Sag et al., 2002; Villavicencio et al., 2005). However, it is difficult to integrate them into current neural machine translation (NMT) which reads and generates sentences word by word. In this work, we propose a method to translate phrases in NMT by integrating a phrase memory storing target phrases from a phrase-based statistical machine translation (SMT) system into the encoder-decoder architecture of NMT. At each decoding step, the phrase memory is first re-written by the SMT model, which dynamically generates relevant target phrases with contextual information provided by the NMT model. Then the proposed model reads the phrase memory to make probability estimations for all phrases in the phrase memory. If phrase generation is carried on, the NMT decoder selects an appropriate phrase from the memory to perform phrase translation and updates its decoding state by consuming the words in the selected phrase. Otherwise, the NMT decoder generates a word from the vocabulary as the general NMT decoder does. Experiment results on the Chinese to English translation show that the proposed model achieves significant improvements over the baseline on various test sets.

研究の動機と目的

• 標準的なNMTが多語彙フレーズの処理に限界を示す問題に対処すること。これは正確な翻訳にとって不可欠である。
• 語彙ベースのSMTシステムから得られる記号的フレーズ表現を組み込むことで、NMTにおけるフレーズレベル生成を可能にすること。
• 構造的および文脈的情報を活用することで、NMTの低頻度または複雑なフレーズの翻訳能力を向上させること。
• 動的フレーズメモリとフレーズ生成と単語生成のバランスを取るメカニズムを導入することで、デコーディングにおけるフレーズ選択を強化すること。
• NMTエンコーダーに文法的チャンク（構文的フレーズ）の構造的情報を統合することで、フレーズ表現の向上を図ること。

提案手法

• ターゲット側のフレーズを記号形式で格納するフレーズメモリを導入し、各デコーディングステップでSMTモデルによって動的に更新する。
• SMTモデルは、NMTデコーダーの文脈的ヒント（アテンションに注意を払った隠れ状態）を用いて、関連するターゲットフレーズを生成する。
• NMTデコーダーは、フレーズ生成と単語生成の間の確率推定を計算するバランスレーターを用いて、メモリ内のフレーズをスコアリングする。
• フレーズ生成が最も高い確率を示した場合に選択され、選択されたフレーズに含まれる単語が消費されて状態が更新される。
• エンコーダーを変更し、文法的チャンク情報を統合することで、ソース側表現を豊かにし、より良いフレーズ検出を可能にする。
• エンコーダーおよびデコーダーの両方でゲート付き再帰ユニット（GRU）を用い、アテンションに基づくコンテキストベクトルを計算する。

実験結果

リサーチクエスチョン

• RQ1 ニューラル機械翻訳は、単語ごとの翻訳にとどまらず、多語彙フレーズを効果的に生成できるよう改善できるか？
• RQ2 語彙ベースのSMTの知識を、アテンションベースのNMTフレームワークに動的に統合する方法は何か？
• RQ3 NMTエンコーダーに文法的チャンク情報を統合することで、フレーズ翻訳のパフォーマンスが向上するか？
• RQ4 SMTガイドドの更新を持つ動的フレーズメモリは、希少語や複雑なフレーズを処理する際、標準的なNMTを上回る性能を示せるか？
• RQ5 フレーズ生成と単語生成のバランスを取ることで、全体の翻訳品質にどのような影響を与えるか？

主な発見

• 提案モデルは、中国語→英語翻訳の複数のNISTテストセットにおいて、ベースラインのアテンションベースNMTより顕著な1.07 BLEUポイントの向上を達成した。
• SMTによって生成されたフレーズを動的フレーズメモリに統合することで、多語彙表現や低頻度フレーズの処理が改善された。
• エンコーダーに文法的チャンク情報を組み込むことで、モデルのフレーズの検出および正確な翻訳能力が向上した。
• バランスレーター機構により、フレーズ生成と単語生成のバランスがうまく取られ、文脈や確率に応じて適切に切り替えが可能になった。
• 個々の単語の意味から推論が困難な複雑で非構成的なフレーズの翻訳において、モデルは標準的なNMTを上回った。
• 結果から、動的フレーズメモリを介してNMTとSMTを統合することは、翻訳品質の向上に実用的かつ効果的な手法であると示された。