[論文レビュー] Character-based NMT with Transformer

Rohit Gupta, Laurent Besacier+2 more|arXiv (Cornell University)|Nov 12, 2019

Natural Language Processing Techniques参考文献 43被引用数 8

ひとこと要約

本稿では、Transformerアーキテクチャを用いた文字ベースのニューラル機械翻訳（NMT）を調査し、より深いモデルと事前正規化、透過的アテンションを用いることで、BPEベースのモデルとの性能差を埋めることを示している。文字レベルのモデルはノイズやドメインシフトに対してより頑健であり、特に低リソース設定下で優れた性能を発揮し、32層のエンコーダーを用いてWMT-ENDEで34.7 BLEUを達成した。

ABSTRACT

Character-based translation has several appealing advantages, but its performance is in general worse than a carefully tuned BPE baseline. In this paper we study the impact of character-based input and output with the Transformer architecture. In particular, our experiments on EN-DE show that character-based Transformer models are more robust than their BPE counterpart, both when translating noisy text, and when translating text from a different domain. To obtain comparable BLEU scores in clean, in-domain data and close the gap with BPE-based models we use known techniques to train deeper Transformer models.

研究の動機と目的

• 文字レベルのNMTの性能を、BPEベースのモデルと比較して評価すること。
• より深いTransformerアーキテクチャが、文字レベルとBPEベースのモデルの間の性能差を縮められるかどうかを調査すること。
• 語彙的ノイズおよびドメインシフト下における文字レベルモデルの頑健性を評価すること。
• 語彙サイズとモデルの深さが、低リソースおよび高リソース設定下での翻訳品質に与える影響を分析すること。

提案手法

• サブワード単位（BPE）の代わりに、文字レベルの入力および出力トークンを用いたTransformerモデルの学習。
• 深層モデルの学習安定化のため、事前正規化（層正規化をサブレイヤーの前に適用）を適用。
• 深層エンコーダーにおける勾配の流れを改善するために、透過的アテンションを導入。
• 性能への深さの影響を評価するため、6～32層の異なる深さのモデルを学習。
• WMT-ENDEおよびIWSLT-TEDで、クリーンなテスト条件およびノイズありのテスト条件の両方で評価。
• 異なるBPE語彙（5k、30k）と文字レベルモデルを用いて、表現効率を比較。

実験結果

リサーチクエスチョン

• RQ1 より深いTransformerモデルは、文字レベルとBPEベースのNMTの間のBLEUスコアの差を縮められるか？
• RQ2 語彙的ノイズ下で、文字レベルNMTはBPEベースのモデルと比べてどのように性能を発揮するか？
• RQ3 文字レベルNMTは、BPEベースのモデルと比べて、ドメインシフトしたテストデータに対してより良い一般化性能を示すか？
• RQ4 モデルの深さと正規化の順序は、文字レベルNMTにおける学習安定性と性能にどのような影響を与えるか？
• RQ5 異なる語彙サイズは、低リソースおよび高リソース設定下での性能にどのような影響を与えるか？

主な発見

• 事前正規化と透過的アテンションを組み合わせることで、文字レベルのTransformerモデルは低リソース設定下でWMT-ENDEで34.7 BLEUを達成し、浅いモデルの33.7 BLEUから向上した。
• 高リソース設定下では、32層エンコーダーを用いた文字レベルモデルが37.7 BLEUを達成し、性能差は縮まったが、BPE 30kベースライン（38.0 BLEU）を上回ることはできなかった。
• クリーンなテストデータにおける語彙的ノイズに対して、文字レベルモデルは即座にBPEモデルを上回る優れた頑健性を示した。
• 学習データに類似したノイズが含まれていた場合、語彙が大きいBPEモデル（例：30k）は正則化効果を得ており、クリーンな入力でも性能が向上した。
• ドメインシフトしたデータ、特にOOV率が最も高いWMT-Biomedicalでは、文字レベルモデルがBPEモデルを著しく上回り、一般化性能に優れた。
• 事前正規化と透過的アテンションの組み合わせにより、32層エンコーダーの安定した学習が可能になり、深層文字レベルTransformerにおける勾配問題が解決された。