[論文レビュー] Merging External Bilingual Pairs into Neural Machine Translation

Tao Wang, Shaohui Kuang+2 more|arXiv (Cornell University)|Dec 2, 2019

Natural Language Processing Techniques参考文献 22被引用数 6

ひとこと要約

この論文は、NMTのアーキテクチャやデコード速度を変更せずに、トレーニングデータのタギング、ミックスフレーズ、追加埋め込みを用いて事前に指定された二語対訳フレーズペアをニューラル機械翻訳（NMT）に統合するデータ中心のアプローチを提案している。これにより、指定されたフレーズの翻訳精度が99％を超える結果が得られた。

ABSTRACT

As neural machine translation (NMT) is not easily amenable to explicit correction of errors, incorporating pre-specified translations into NMT is widely regarded as a non-trivial challenge. In this paper, we propose and explore three methods to endow NMT with pre-specified bilingual pairs. Instead, for instance, of modifying the beam search algorithm during decoding or making complex modifications to the attention mechanism --- mainstream approaches to tackling this challenge ---, we experiment with the training data being appropriately pre-processed to add information about pre-specified translations. Extra embeddings are also used to distinguish pre-specified tokens from the other tokens. Extensive experimentation and analysis indicate that over 99% of the pre-specified phrases are successfully translated (given a 85% baseline) and that there is also a substantive improvement in translation quality with the methods explored here.

研究の動機と目的

• エンドツーエンドのNMTシステムに事前に指定された二語対訳フレーズペアを統合する課題に取り組むこと。これは、明示的な誤り訂正が難しい。
• 外部データベースで定義された特定の多語種表現（例：ブランド名）を、NMTが正確かつ一貫して翻訳できるようにすること。
• NMTモデルのアーキテクチャやビームサーチアルゴリズムを変更せずに、事前に指定されたフレーズの翻訳品質を向上させる手法を開発すること。
• デコード速度を維持したまま、固定された二語対訳表現の翻訳成功確率を著しく向上させること。
• トレーニングデータの前処理を通じて、外部の言語的知識をNMTに注入するスケーラブルで再現可能かつ効果的な方法を検討すること。

提案手法

• タギング法：ソース側のフレーズとその対訳を特殊トークン <start> と <end> で囲い、NMTモデルがそれらのペアを関連付けるパターンを学習できるようにする。
• ミックスフレーズ法：ソース文にそのフレーズの対訳を直接その後に付加することで、コピー学習を強化する（例：'我 爱 香港 hong kong'）。
• 追加埋め込み法：通常のトークンとは異なる専用の埋め込みベクトルを導入し、事前に指定されたフレーズを識別する。タギングに比べてよりソフトな信号を提供する。
• 統合手法：タギングとミックスフレーズを併用し、ミックスフレーズ内のソースとターゲットを区別するためのオプションの <middle> マーカーを追加することで、アライメント学習を向上させる。
• タグとターゲットフレーズの両方に共通の埋め込みを用いることで、より強い注意メカニズム信号を通じて多言語間の対応関係を学習できる。
• すべての手法はデータ前処理段階で適用される。NMTモデルやデコードアルゴリズムの変更は不要であり、推論速度が保たれる。

実験結果

リサーチクエスチョン

• RQ1 NMTを、モデルの変更なしに、データレベルの修正のみで、特定の事前に指定された二語対訳フレーズを高精度に翻訳できるように効果的に学習させられるか？
• RQ2 タギング、ミックスフレーズ、追加埋め込みを組み合わせることで、ベースラインNMTに比べてフレーズ翻訳の成功確率が顕著に向上するか？
• RQ3 提案手法は、語レベルと多語語フレーズ翻訳の両方で高精度を達成できるか？また、デコード速度に悪影響を与えないか？
• RQ4 個々の要素（タギング、ミックスフレーズ、追加埋め込み）が、フレーズ翻訳全体のパフォーマンス向上にどのように寄与しているか？
• RQ5 この手法は、中国語-英語や英語-ドイツ語のニュース翻訳など、異なる言語対やドメインにおいても頑健に機能するか？

主な発見

• 中国語-英語翻訳において、事前に指定されたフレーズの成功率は、文単位でベースラインの74.19％から98.40％へ、フレーズ単位で85.03％から99.13％へ上昇した。
• 中国語-英語翻訳において、提案手法はベースライン（45.7 BLEU）に対して1.4 BLEUポイントの向上を達成した。
• 英語-ドイツ語翻訳において、フレーズ単位の成功率は、ベースラインの93.69％から提案手法を用いることで99.54％へ向上した。
• タギング法は、コピー学習に適した学習可能なパターンを提供することで、注意メカニズムを強化した。一方、共通埋め込みは多言語間のアライメントを強化した。
• 追加埋め込み法は、タギングに比べてよりソフトで破壊的でない信号を提供したが、性能向上はやや小さかった。
• NMTモデルやデコードプロセスを変更せずに、事前に指定されたフレーズの翻訳成功率が99％を超える結果が得られ、推論速度が維持された。