[論文レビュー] Neural Machine Translation by Jointly Learning to Align and Translate

Dzmitry Bahdanau|arXiv (Cornell University)|Sep 1, 2014

Natural Language Processing Techniques参考文献 22被引用数 14,567

ひとこと要約

この論文は、アテンション機構を用いたニューラル機械翻訳モデル（RNNsearch）を導入し、整列と翻訳を共同で学習することで、固定長ベクトルを各ステップのコンテキストベクトルに置換し、双方向の注釈から得られる情報を用いて、別個のフレーズベースシステムに依存せずに英語→フランス語翻訳で競争力を発揮することを示す。

ABSTRACT

Neural machine translation is a recently proposed approach to machine translation. Unlike the traditional statistical machine translation, the neural machine translation aims at building a single neural network that can be jointly tuned to maximize the translation performance. The models proposed recently for neural machine translation often belong to a family of encoder-decoders and consists of an encoder that encodes a source sentence into a fixed-length vector from which a decoder generates a translation. In this paper, we conjecture that the use of a fixed-length vector is a bottleneck in improving the performance of this basic encoder-decoder architecture, and propose to extend this by allowing a model to automatically (soft-)search for parts of a source sentence that are relevant to predicting a target word, without having to form these parts as a hard segment explicitly. With this new approach, we achieve a translation performance comparable to the existing state-of-the-art phrase-based system on the task of English-to-French translation. Furthermore, qualitative analysis reveals that the (soft-)alignments found by the model agree well with our intuition.

研究の動機と目的

• エンコーダ-デコーダNMTアーキテクチャにおいて、全体のソース文を固定長ベクトルにエンコードするボトルネックを動機づけ、克服する。
• デコード時にソース位置へ動的に注意を向けるモデルを導入する（ソフトアラインメント）。
• jointに学習した整列が翻訳品質を改善することを示し、特に長い文で効果を示す。
• 単一モデルを用いて、フレーズベースシステムと対等な英語→フランス語翻訳性能を実現する。

提案手法

• 双方向RNNエンコーダを用いて、各ソース語に対して両方向からの文脈を注釈として付与する。
• デコーダは各ステップで、アライメントモデルにより定義された重みで全ての注釈の加重和としてコンテキストベクトルを計算する。
• y_iの条件分布 p(y_i|y_1..y_{i-1}, x) を、各ターゲット語について異なるコンテキスト c_i を持つ形で定義し、ソフトアテンションを実現する。
• 注意機構を介して p(y|x) の条件付き尤度を最大化するよう、端から端までトレーニングする（注意機構を含むバックプロパゲーション）。
• アライメントモデル a(s_{i-1}, h_j) を用いたニューラルネットワークで α_{ij} を softmax over j により生成する。
• RNNにはmaxoutネットワークとゲート付きリカレントユニットを使用し、ミニバッチでSGD/Adadeltaによって学習する。

実験結果

リサーチクエスチョン

• RQ1 固定長の文脈ベクトルを動的なアテンション機構に置換することは翻訳品質を向上させるか。
• RQ2 整列と翻訳を共に学習することで、言語的直感と対応する意味のあるソフトアラインメントが得られるか。
• RQ3 長文で特に、エンコーダ–デコーダの基準モデルと従来のフレーズベースシステムに対して、アテンションベースモデルは英語–フランス語翻訳でどの程度の性能を示すか。

主な発見

Model	All	No UNK
RNNencdec-30	13.93	24.19
RNNsearch-30	21.50	31.44
RNNencdec-50	17.82	26.71
RNNsearch-50	26.75	34.16
RNNsearch-50 ⋆	28.45	36.15
Moses	33.30	35.63

• 提案された RNNsearch は、すべての設定において従来の RNN エンコーダ－デコーダを上回る。
• RNNsearch-50 は、既知語のみの文に対して Moses（フレーズベースシステム）と同等の BLEU スコアを達成。
• アテンション機構は文長に対する頑健性を高め、RNNsearch-50 は長い文での劣化を示さない。
• 定性的分析により、ソース語とターゲット語の間に意味のあるソフトアラインメントが見つかり、言語的直感と一致する。
• 長文では固定ベクトルエンコーダとアテンションベースモデルの間で性能ギャップが顕在化するが、RNNsearch は RNNencdec が劣化する箇所でも翻訳品質を維持する。