[論文レビュー] Learning Efficient Lexically-Constrained Neural Machine Translation with External Memory

Ya Li, Xinyu Liu+3 more|arXiv (Cornell University)|Jan 31, 2019

Natural Language Processing Techniques参考文献 18被引用数 4

ひとこと要約

この論文では、従来のビームサーチの高い計算コストと不柔軟なデコードに代わって、外部メモリを用いて語彙的制約付き翻訳を学習するメモリ拡張型ニューラル機械翻訳モデルを提案する。メモリアテンション機構とソフトマックス損失を用いることで、関連する制約スロットに注目を向けるように誘導し、計算コストを抑えつつ、流暢で柔軟な制約付き翻訳を実現。中国語-英語および英語-ドイツ語のタスクにおいて、BLEUスコアが向上した。

ABSTRACT

Recent years has witnessed dramatic progress of neural machine translation (NMT), however, the method of manually guiding the translation procedure remains to be better explored. Previous works proposed to handle such problem through lexcially-constrained beam search in the decoding phase. Unfortunately, these lexically-constrained beam search methods suffer two fatal disadvantages: high computational complexity and hard beam search which generates unexpected translations. In this paper, we propose to learn the ability of lexically-constrained translation with external memory, which can overcome the above mentioned disadvantages. For the training process, automatically extracted phrase pairs are extracted from alignment and sentence parsing, then further be encoded into an external memory. This memory is then used to provide lexically-constrained information for training through a memory-attention machanism. Various experiments are conducted on WMT Chinese to English and English to German tasks. All the results can demonstrate the effectiveness of our method.

研究の動機と目的

• 語彙的制約付きビームサーチの限界、特に高い計算コストと不柔軟なデコードを解消すること。
• 大規模なビームサイズを必要とせず、ユーザー指定の語彙的制約のもとで効率的かつ流暢な翻訳を実現すること。
• 外部メモリを統合して推論時に翻訳をガイドする、学習可能なソフト制約メカニズムの開発。
• アライメントとパーサーを用いて並列双方向コーパスからフレーズレベルの制約を自動抽出し、スケーラブルな学習を実現すること。
• ハードビームサーチ手法と比較して、正しい制約および誤った制約の両方の状況でも翻訳品質と頑健性を向上させること。

提案手法

• アライメントと文法的パーサーを用いて並列文からフレーズペアを抽出し、語彙的制約知識ベースを構築する。
• キーやバリューを用いて、これらのフレーズペアを外部メモリにエンコードする。ここでキーやバリューはそれぞれ、元言語のフレーズと翻訳言語の翻訳を表す。
• 変換器デコーダーがデコード中に関連するメモリスロットに注目できるように、メモリアテンション機構を導入する。
• 訓練中に正しいメモリスロットへの注目を強制するためにソフトマックス損失を適用し、制約と出力の間の整合性を向上させる。
• メモリベースの制約ガイドランスを統合しながら、標準的なNMTの目的関数に従ってモデルをエンドツーエンドで学習する。
• 推論時には標準的なビームサーチ（ビームサイズ12）を用いる。これにより、多くの制約がある場合でも、従来の方法が要求する大規模ビームサイズに依存せずに、効率的なデコードが可能になる。

実験結果

リサーチクエスチョン

• RQ1 メモリ拡張型NMTモデルは、計算コストの高いビームサーチに依存せずに、効率的かつ効果的な語彙的制約付き翻訳を達成できるか？
• RQ2 提案されたメモリアテンション機構は、翻訳の流暢さを保ちながら、制約の遵守をどのように向上させるか？
• RQ3 アライメントとパーサーを用いて自動抽出されたフレーズペアが、学習に有用な制約としてどれほど信頼できるか？
• RQ4 制約の数が変化する状況、特に制約が誤りまたは曖昧な場合に、モデルはどのように性能を発揮するか？
• RQ5 提案手法は、BLEUスコアと流暢さの観点から、既存の語彙的制約付きビームサーチ手法を上回るか？

主な発見

• 提案されたLCNMTモデルは、全制約比（30%、50%、70%）において、WMT英語-ドイツ語翻訳タスクで最高のBLEUスコアを達成した。
• 中国語-英語タスクでは、DBA手法と同等の性能を発揮したが、生成出力の流暢さが顕著に向上した。
• ハードビームサーチ手法とは異なり、誤ったまたは矛盾する制約が与えられた場合でも、予期しないまたは不自然な翻訳を回避した。
• 標準的なビームサイズ12を用いても効率的な推論を維持しており、制約の数が増加してもデコードの複雑性が増加しないことを示した。
• ソフトマックス損失によってガイドされるメモリアテンション機構により、関連する制約スロットへの正確な注目が可能になり、流暢さを損なわずに制約遵守が向上した。
• 自動フレーズ抽出パイプラインは、並列コーパスから有用な制約を効果的に生成でき、新しい双方向コーパスへのゼロショット適応を可能にした。