[論文レビュー] Memory-enhanced Decoder for Neural Machine Translation

Mingxuan Wang, Zhengdong Lu+2 more|arXiv (Cornell University)|Jun 7, 2016

Natural Language Processing Techniques参考文献 15被引用数 25

ひとこと要約

この論文では、固定サイズのコンテンツベースの外部メモリ行列を隠れ状態に拡張することで、ニューラル機械翻訳のRNNデコーダーを強化するMemDecを提案する。デコーディング中に動的読み取り・書き込みを可能にすることで、翻訳のなめらかさと正確性が向上し、同じ学習データを用いた中国語-英語翻訳において、Mosesより5.3 BLEU、GroundHogより4.8 BLEUの向上を達成した。

ABSTRACT

We propose to enhance the RNN decoder in a neural machine translator (NMT) with external memory, as a natural but powerful extension to the state in the decoding RNN. This memory-enhanced RNN decoder is called extsc{MemDec}. At each time during decoding, extsc{MemDec} will read from this memory and write to this memory once, both with content-based addressing. Unlike the unbounded memory in previous work\cite{RNNsearch} to store the representation of source sentence, the memory in extsc{MemDec} is a matrix with pre-determined size designed to better capture the information important for the decoding process at each time step. Our empirical study on Chinese-English translation shows that it can improve by $4.8$ BLEU upon Groundhog and $5.3$ BLEU upon on Moses, yielding the best performance achieved with the same training set.

研究の動機と目的

• RNNデコーダーに外部メモリ機構を拡張することで、ニューラル機械翻訳の性能を向上させること。
• 動的メモリの読み取り・書き込みを通じて、デコーディング段階での情報選択と統合をより効果的に行うこと。
• 限界付きで学習可能なメモリ行列が、シーケンス・トゥ・シーケンスタスクにおいて標準のアテンションベースのRNNデコーダーより優れた性能を発揮することを示すこと。
• 事前学習とメモリサイズが翻訳性能に与える影響を調査すること。

提案手法

• MemDecは、RNNデコーダー状態の拡張として固定サイズのメモリ行列を導入し、各列をメモリセルとして機能させる。
• 各デコーディングステップで、モデルはコンテンツベースのアドレッシングを用いてメモリ行列から読み取り・書き込みを行う。
• 読み取りは、デコーダー状態とメモリベクトル間の適合関数を計算し、その後加重平均をとることで実行される。
• 書き込みは、現在のデコーダー状態に基づいて更新を調節する微分可能なアテンション機構を用いてメモリ行列を更新する。
• メモリは、時間方向の誤差逆伝播法を用いて、NMTモデルの他の部分と同時に学習される。
• 最適化と収束を改善するために、メモリ行列の初期化に事前学習が適用される。

実験結果

リサーチクエスチョン

• RQ1 限界付きで学習可能な外部メモリ行列は、RNNベースのニューラル機械翻訳の性能を向上させることができるか？
• RQ2 外部メモリ行列へのコンテンツベースのアドレッシングは、モデルが関連するソースおよびターゲット情報に注目する能力にどのように影響するか？
• RQ3 MemDecフレームワークにおけるメモリサイズと事前学習の翻訳品質への影響は何か？
• RQ4 中国語-英語翻訳において、Moses や GroundHog といった強力なベースラインと比較して、MemDecのBLEUスコアはどのように異なるか？

主な発見

• 同じ学習データを用いた中国語-英語翻訳において、MemDecはMosesより5.3 BLEUポイント、GroundHogより4.8 BLEUポイントの向上を達成した。
• モデルはメモリサイズに対して強く頑健であり、4つのメモリセルのみでも、標準のRNNsearchより2以上のBLEUポイントの向上を示した。
• 事前学習は顕著な性能向上をもたらし、ベースライン比で平均1.11ポイントのBLEUスコア向上を実現した。
• 事前学習がなくても、MemDecは平均でベースライン比1.04ポイントのBLEUスコア向上を示した。
• 事例研究では、特に複雑な文構造の処理において、RNNsearchに比べてよりなめらかで意味的に正確な翻訳を生成することがわかった。
• 翻訳例における時系列的・条件節の処理の改善から、モデルが優れた一般化能力と意味的文脈の理解を示していることが裏付けられた。