[論文レビュー] Character-Aware Decoder for Neural Machine Translation

Adithya Renduchintala, Pamela Shapiro+2 more|arXiv (Cornell University)|Sep 6, 2018

Natural Language Processing Techniques参考文献 21被引用数 4

ひとこと要約

本論文では、語彙レベルおよびサブワードレベルのモデリングを向上させるために、畳み込みニューラルネットワーク（CNN）をソフトマックスおよび埋め込み層に統合することで語彙的パターンを捉える、文字に敏感なデコーダーを提案する。低リソース設定では、ターゲット側で文字に敏感な埋め込みと標準的な埋め込みを組み合わせ、大規模な語彙に対して近似ソフトマックスを使用することで、14の語族的に多様な言語で一貫したBLEUスコアの向上（最大+3.37）を達成する。

ABSTRACT

Standard neural machine translation (NMT) systems operate primarily on words, ignoring lower-level patterns of morphology. We present a character-aware decoder for NMT that can simultaneously work with both word-level and subword-level sequences which is designed to capture such patterns. We achieve character-awareness by augmenting both the softmax and embedding layers of an attention-based encoder-decoder network with convolutional neural networks that operate on spelling of a word (or subword). While character-aware embeddings have been successfully used in the source-side, we find that mixing character-aware embeddings with standard embeddings is crucial in the target-side. Furthermore, we show that a simple approximate softmax layer can be used for large target-side vocabularies which would otherwise require prohibitively large memory. We experiment on the TED multi-target dataset, translating English into 14 typologically diverse languages. We find that in this low-resource setting, the character-aware decoder provides consistent improvements over word-level and subword-level counterparts with BLEU score gains of up to +3.37.

研究の動機と目的

• 標準的なNMTモデルが語のみで動作し、形態論的パターンを無視するという限界を是正すること。
• ターゲット側デコーダーに文字レベルの情報を組み込むことで、低リソースでのニューラル機械翻訳を改善すること。
• 大語彙翻訳タスクにおけるメモリコストを、近似ソフトマックス層を用いることで低減すること。
• ターゲット側で文字に敏感な埋め込みと標準的な埋め込みを組み合わせることで、より良い一般化性能を示すことを実証すること。

提案手法

• アテンションベースのエンコーダデコーダアーキテクチャに、語またはサブワードの文字列を処理するCNNを、埋め込み層およびソフトマックス層に追加する。
• ターゲット側で文字に敏感な埋め込みと標準的な語彙埋め込みを統合し、形態的変化のモデリングを向上させる。
• 文字レベルのCNNを用いて、各ターゲット語またはサブワードの綴りから文脈に適した表現を生成する。
• 大規模なターゲット語彙を効率的に処理するため、近似ソフトマックス層を適用し、メモリ要件を削減する。
• 英語から14の多様な言語に翻訳するTEDマルチターゲットデータセット上で、モデルをエンドツーエンドで訓練する。
• 交差エントロピー損失とビームサーチデコーダーを用いた標準的なNMT目的関数でモデルを最適化する。

実験結果

リサーチクエスチョン

• RQ1 ターゲット側デコーダーにおける文字に敏感なモデリングは、低リソース設定での翻訳性能を向上させることができるか？
• RQ2 ターゲット側で文字に敏感な埋め込みと標準的な埋め込みを組み合わせると、翻訳品質にどのような影響を与えるか？
• RQ3 近似ソフトマックス層を用いることで、大語彙でのメモリ使用量を削減しながら性能を維持できるか？
• RQ4 語族的に多様な言語において、文字に敏感なデコーダーはどの程度有効か？
• RQ5 形態論的に豊富な言語において、文字レベルのモデリングはニューラル機械翻訳にどのような影響を与えるか？

主な発見

• 文字に敏感なデコーダーは、14の多様な言語において、語彙レベルおよびサブワードレベルのベースラインと比較して一貫したBLEUスコアの向上を達成する。
• 低リソース設定では最大+3.37のBLEUスコア向上を達成し、言語系統を越えた強い一般化性能を示す。
• ターゲット側で文字に敏感な埋め込みと標準的な埋め込みを組み合わせることで、最も顕著な性能向上が得られる。
• 近似ソフトマックス層は、大語彙での翻訳品質に悪影響を及げることなく、メモリ使用量を効果的に削減する。
• 特に形態論的に豊富な言語において、この手法は語彙レベルのモデルよりも変形パターンをより効果的に捉える。