[論文レビュー] A GRU-Gated Attention Model for Neural Machine Translation

Biao Zhang, Deyi Xiong+1 more|arXiv (Cornell University)|Apr 27, 2017

Natural Language Processing Techniques参考文献 17被引用数 27

ひとこと要約

本稿では、エンコーダーの表現をデコーダー状態に敏感にすることで文脈ベクトルの識別性を向上させる、GRUゲート付きアテンション機構（GAtt）を提案する。元のソース表現と以前のデコーダー状態をGRUを用いて統合することで、より多様で識別性の高い文脈ベクトルを生成し、vanillaアテンションモデルと比較して中国語-英語のベンチマークにおいて過剰翻訳を顕著に低減し、翻訳品質を向上させる。

ABSTRACT

Neural machine translation (NMT) heavily relies on an attention network to produce a context vector for each target word prediction. In practice, we find that context vectors for different target words are quite similar to one another and therefore are insufficient in discriminatively predicting target words. The reason for this might be that context vectors produced by the vanilla attention network are just a weighted sum of source representations that are invariant to decoder states. In this paper, we propose a novel GRU-gated attention model (GAtt) for NMT which enhances the degree of discrimination of context vectors by enabling source representations to be sensitive to the partial translation generated by the decoder. GAtt uses a gated recurrent unit (GRU) to combine two types of information: treating a source annotation vector originally produced by the bidirectional encoder as the history state while the corresponding previous decoder state as the input to the GRU. The GRU-combined information forms a new source annotation vector. In this way, we can obtain translation-sensitive source representations which are then feed into the attention network to generate discriminative context vectors. We further propose a variant that regards a source annotation vector as the current input while the previous decoder state as the history. Experiments on NIST Chinese-English translation tasks show that both GAtt-based models achieve significant improvements over the vanilla attentionbased NMT. Further analyses on attention weights and context vectors demonstrate the effectiveness of GAtt in improving the discrimination power of representations and handling the challenging issue of over-translation.

研究の動機と目的

• 神経機械翻訳における過剰翻訳の問題に取り組む。これは文脈ベクトルの分散が低いことに起因する。
• デコーダーの部分的翻訳に依存するようにすることで、アテンションベースNMTにおける文脈ベクトルの識別力の向上を図る。
• 再帰的ゲーティングを用いてソース表現を精緻化することで、生成翻訳の冗長性を低減する。
• デコーダー状態に応じて動的にソース表現を再調整する新しいアテンション機構を提案し、アライメント精度を向上させる。

提案手法

• エンコーダーとアテンション機構の間にGRUゲート層を導入し、元のソースアノテーションを隠れ状態とし、以前のデコーダー状態を入力とする。
• GRUはソース表現とデコーダー状態を統合し、翻訳に依存するソースアノテーションを生成し、それをアテンション機構に供給する。
• デコーダー状態を隠れ状態とし、ソースアノテーションを入力とする変種（GAtt-Inv）を提案し、異なるゲーティングダイナミクスを検討する。
• リセットゲートと更新ゲートを介して情報の流れを制御するゲーティング再帰ユニット（GRU）を用い、ソース表現の動的モodulationを可能にする。
• 精錬されたソース表現上で標準アテンションを実行し、文脈ベクトルを生成することで識別力の向上を図る。
• 元の意味的情報を保持しつつ、適応的精錬を可能にするリサイカル接続に類似したメカニズムを採用する。

実験結果

リサーチクエスチョン

• RQ1 文脈ベクトルの識別力の向上が、神経機械翻訳における過剰翻訳を低減できるか？
• RQ2 ソース表現をデコーダー状態に依存させることで、アテンションアライメントと翻訳品質にどのような影響を与えるか？
• RQ3 GRUゲート機構は、vanillaアテンションと比較して、より多様で情報量の多い文脈ベクトルを生成するか？
• RQ4 提案されたGAttモデルは、中国語-英語のような低リソースまたは複雑な翻訳タスクにおいて、標準アテンションベースNMTシステムを上回るか？
• RQ5 ゲーティング順序の選択（ソース vs. デコーダーを隠れ状態とする）が、モデルの性能と一般化能力に与える影響は何か？

主な発見

• GAttベースのモデルは、NIST中国語-英語翻訳ベンチマークにおいて、vanillaアテンション（RNNSearch）と比較して顕著な向上を示し、1.85 BLEUスコアの向上を達成した。
• 文脈ベクトルの次元ごとの平均分散は、RNNSearchの0.0057からGAttの0.0365に上昇し、識別力の向上が示された。
• 1-gramのN-Gram繰り返し率（N-GRR）は、RNNSearchの19.12からGAtt-Invの16.79に低下し、過剰翻訳の低減が確認された。
• GAttのアテンション重みは、可視化と定性的分析により、関連するソース語に適切にアライメントされており、より正確であることが確認された。
• GAtt-Invバージョンは、すべてのn-gram繰り返し指標で標準GAttを上回り、冗長性の処理におけるより優れた一般化能力を示した。
• アブレーションスタディにより、文脈ベクトルの分散とアテンションの鋭さが翻訳品質と直接関連していることが実証された。