[論文レビュー] Addressing the Rare Word Problem in Neural Machine Translation

Minh-Thang Luong, Ilya Sutskever+3 more|arXiv (Cornell University)|Oct 30, 2014

Natural Language Processing Techniques参考文献 21被引用数 107

ひとこと要約

本論文は、ニューラル機械翻訳（NMT）におけるレアワード問題に対処するための新しいアライメントベースの手法を提案する。ここでは、語彙外語（OOV）語がすべて同じ'unk'トークンに置き換えられる問題を扱う。アライメント情報で拡張されたデータ上でNMTモデルを学習させることで、OOV語の対応する元語の文内の位置を予測するよう学習させる。その後、後処理段階で辞書を用いて置換する。この手法により、WMT’14英語→フランス語翻訳タスクで37.5 BLEUという、2.8 BLEUポイントの向上を達成し、新たなSOTA結果を樹立した。

ABSTRACT

Neural Machine Translation (NMT) is a new approach to machine translation that has shown promising results that are comparable to traditional approaches. A significant weakness in conventional NMT systems is their inability to correctly translate very rare words: end-to-end NMTs tend to have relatively small vocabularies with a single unk symbol that represents every possible out-of-vocabulary (OOV) word. In this paper, we propose and implement an effective technique to address this problem. We train an NMT system on data that is augmented by the output of a word alignment algorithm, allowing the NMT system to emit, for each OOV word in the target sentence, the position of its corresponding word in the source sentence. This information is later utilized in a post-processing step that translates every OOV word using a dictionary. Our experiments on the WMT14 English to French translation task show that this method provides a substantial improvement of up to 2.8 BLEU points over an equivalent NMT system that does not use this technique. With 37.5 BLEU points, our NMT system is the first to surpass the best result achieved on a WMT14 contest task.

研究の動機と目的

• レア語または語彙外語（OOV）語が一様に単一の'unk'トークンに置き換えられるNMTシステムの根本的制限を是正すること。
• 大規模な語彙サイズや複雑なモデル再訓練を必要とせずに、レア語の翻訳パフォーマンスを向上させること。
• 任意のNMTアーキテクチャと互換性があり、大規模な事前学習や外部言語モデルに依存しない手法を開発すること。
• トレーニング段階での明示的なアライメント監視が、正確なOOV語の予測と後処理翻訳を可能にすることを示すこと。

提案手法

• トレーニングデータに、元文と対応する翻訳文間の語アライメント情報を追加する。アライメントは語アライメントアルゴリズムで生成される。
• NMTモデルは、翻訳文内の各OOV語について、その対応語が元文中のどの位置にあるかを予測するよう学習する。その位置は'ポインタ'として表現され、例として'unkpos 5'のように表される。
• 推論段階では、モデルは'unkpos'トークンを含むシーケンスを出力し、OOV語の元語位置を示す。
• 後処理段階では、辞書を用いて各'unkpos'トークンを実際に存在する翻訳語に置換する。
• 辞書に翻訳語が存在しない場合は、モデルが元語そのもの（アイデンティティ翻訳）をフォールバックとして使用する。
• この手法は任意のNMTアーキテクチャと互換性があり、モデル構造やアテンションメカニズムの変更を必要としない。

実験結果

リサーチクエスチョン

• RQ1 NMTトレーニング中に明示的なアライメント監視を施すことで、語彙外語（OOV）語の取り扱いが改善されるか？
• RQ2 OOV語の元語位置を予測することで、単一の'unk'トークンを使用するのと比較して翻訳品質が向上するか？
• RQ3 この手法は、アーキテクチャの変更なしに、さまざまなNMTアーキテクチャに効果的に適用可能か？
• RQ4 この技術は、WMT’14英語→フランス語のような標準ベンチマークで、BLEUスコアをどの程度向上させるか？
• RQ5 このアプローチにより、主要な機械翻訳コンペティションで最良のシステムを上回るNMTシステムが実現可能か？

主な発見

• 提案手法は、アライメントベースのOOV処理を用いないベースラインNMTシステムよりも、最大2.8 BLEUポイントの一貫した向上を達成した。
• 37.5 BLEUというスコアを達成したことで、WMT’14英語→フランス語翻訳タスクで、当時最良のシステムを上回った最初のNMTモデルとなった。
• モデルは'orthopedic' や 'cataract' といったレア語を、正しく元語位置を予測し、辞書を用いて置換することで正しく翻訳できた。
• 長文に対しても頑健であることが示され、元文の冒頭から離れていてもOOV語を正しく翻訳できた。
• トレーニングのパープレキシティとBLEUスコアの間に強い相関関係が認められ、パープレキシティが0.5低下すると約1.0 BLEUポイントのスコア向上が得られた。
• 誤った辞書エントリーやアライメント予測による誤りは一部存在したが、全体としての翻訳品質は顕著に向上しており、特に稀な語や固有名詞の翻訳において顕著な改善が見られた。