[論文レビュー] Implicit Distortion and Fertility Models for Attention-based Encoder-Decoder NMT Model

Feng Shi, Shujie Liu+2 more|arXiv (Cornell University)|Jan 13, 2016

Multimodal Machine Learning Applications参考文献 22被引用数 39

ひとこと要約

本稿では、注意ベースのニューラル機械翻訳（NMT）におけるアライメント誤差を是正するため、暗黙的な歪みおよび肥沃度モデルを提案する。RecAtt（再帰的注意）、RNNAtt（長期記憶を備えた再帰的注意）、およびCondDec（条件付きデコード）を導入することで、再帰的アライメントの精度が向上し、繰り返しやカバレッジの問題が軽減され、中国語-英語翻訳において標準的な注意機構よりも2 BLEUポイントの向上を達成した。

ABSTRACT

Neural machine translation has shown very promising results lately. Most NMT models follow the encoder-decoder framework. To make encoder-decoder models more flexible, attention mechanism was introduced to machine translation and also other tasks like speech recognition and image captioning. We observe that the quality of translation by attention-based encoder-decoder can be significantly damaged when the alignment is incorrect. We attribute these problems to the lack of distortion and fertility models. Aiming to resolve these problems, we propose new variations of attention-based encoder-decoder and compare them with other models on machine translation. Our proposed method achieved an improvement of 2 BLEU points over the original attention-based encoder-decoder.

研究の動機と目的

• 序列変換NMTモデルにおける誤った注意アライメントが引き起こす翻訳品質の低下を是正すること。
• 再配置ミス、繰り返し、カバレッジ不全といったアライメント誤差の根本的原因として、明示的な歪みおよび肥沃度モデリングの欠如を特定すること。
• 明示的な再配置や語の肥沃度アノテーションを必要とせず、注意機構を強化する暗黙的な歪みおよび肥沃度モデルを提案すること。
• これらのモデルがアライメント品質およびBLEUなどの自動翻訳指標に与える影響を評価すること。
• 長距離依存性や繰り返しの処理において、異なる注意機構のバリエーション間のトレードオフを調査すること。

提案手法

• 以前のコンテキストベクトルを現在の注意計算に組み込む再帰的注意機構であるRecAttを提案し、再配置（歪み）のより良いモデリングを可能にする。
• より複雑な再帰的注意ユニットであるRNNAttを導入し、過去の注意状態から学習することで、長距離の繰り返しを低減する長期記憶を備える。
• デコードを注意履歴に条件づけることで、肥沃度を暗黙的にモデリングする条件付きデコード機構であるCondDecを開発し、繰り返しやカバレッジの問題を軽減する。
• エンコーダに双方向LSTM、デコーダに単方向LSTMを用いた標準的なエンコーダデコーダフレームワークを採用し、再帰的または条件付きコンponentsを含むように注意機構を変更する。
• 交差エントロピー損失を用いたエンドツーエンドの学習戦略を採用し、注意重みはスケーリングされたドット積注意関数を用いたドット積メカニズムで計算する。
• BLEUと定性的なアライメント分析を用いて、中国語-英語翻訳においてRNNSearchおよびフレーズベースSMTベースラインと比較してモデルを評価する。

実験結果

リサーチクエスチョン

• RQ1 再帰的注意による暗黙的な歪みモデリングは、NMTにおけるアライメント精度の向上と再配置ミスの低減に寄与するか？
• RQ2 再帰的注意機構は、注意アライメントにおける長期的繰り返しを緩和できるか？
• RQ3 肥沃度モデリングを内蔵した条件付きデコードは、カバレッジ問題の軽減と翻訳におけるコンテンツ保持の向上に寄与するか？
• RQ4 RecAtt、RNNAtt、CondDecといった異なる注意機構のバリエーションは、BLEUスコアおよびアライメント品質においてどのように比較されるか？
• RQ5 NMTにおける再帰的注意機構のモデルの複雑さと性能のトレードオフは何か？

主な発見

• RecAttは中国語-英語翻訳において、標準的なRNNSearchモデルよりも2 BLEUポイントの向上を達成し、テストされたすべての他のバリエーションを上回った。
• CondDecはRNNSearchよりも1 BLEUポイントの翻訳品質向上を達成し、暗黙的な肥沃度モデリングの有効性を示した。
• 定性的分析の結果、RecAttはカバレッジ問題を顕著に低減しており、元の文の位置に対する注意がより完全になった。
• RecAttが生成したアライメントは、「次年度」を「暴力」ではなく「選挙」に修飾する正しい順序を保った。
• RNNAttはRecAttやRNNSearchが解決できなかった長距離の繰り返し問題を効果的に解消したが、学習の難易度のためBLEUスコアでは劣った。
• CondDecをRecAttおよびRNNAttと組み合わせることの研究は現在進行中であり、さらなる性能向上の可能性を示唆している。