[論文レビュー] Agreement-based Joint Training for Bidirectional Attention-based Neural Machine Translation

Yong Cheng, Shiqi Shen+5 more|arXiv (Cornell University)|Dec 15, 2015

Natural Language Processing Techniques参考文献 15被引用数 20

ひとこと要約

本稿では、双方向アテンションに基づくニューラル機械翻訳における同意ベースの共同学習を提案する。ここで、元言語から目的言語への翻訳モデルと逆方向のモデルを、語のアライメント行列において一致するように共同最適化する。尤度の目的関数とアライメントの一致損失を組み合わせることで、独立学習と比較して中国語-英語および英語-フランス語のタスクにおいて、アライメント精度と翻訳品質の両方が顕著に向上する。

ABSTRACT

The attentional mechanism has proven to be effective in improving end-to-end neural machine translation. However, due to the intricate structural divergence between natural languages, unidirectional attention-based models might only capture partial aspects of attentional regularities. We propose agreement-based joint training for bidirectional attention-based end-to-end neural machine translation. Instead of training source-to-target and target-to-source translation models independently,our approach encourages the two complementary models to agree on word alignment matrices on the same training data. Experiments on Chinese-English and English-French translation tasks show that agreement-based joint training significantly improves both alignment and translation quality over independent training.

研究の動機と目的

• 言語間の構造的乖離により、単方向アテンションモデルが注意の正規性を完全に捉えきれないという制限を解決すること。
• 双方向モデルからの補完的情報を利用することで、ニューラル機械翻訳における語のアライメント精度を向上させること。
• 訓練中に元言語から目的言語および目的言語から元言語のアライメント行列の整合性を強制することで、翻訳品質を向上させること。
• 従来の語のアライメントに用いられていた同意ベースの学習を、エンドツーエンドNMTにおける微分可能でパrameter化されたアテンション行列に応用すること。

提案手法

• 元言語から目的言語への翻訳と目的言語から元言語への翻訳の両方を実行する、別個のRNNベースのNMTモデルを訓練する。
• 両モデルの尤度と、それらのアライメント行列間の一致項を組み合わせた共同学習目的関数を定義する。
• 同じ訓練文のペアに対して、2つのモデルが生成するアライメント行列間の一致度を測る微分可能な一致損失を用いる。
• 確率的勾配降下法を用いて組み合わせた目的関数を最適化し、両モデルおよび一致項を介して勾配が逆伝播可能にする。
• エンコーダーに双方向RNNを適用し、各元言語語の前向きおよび後向きの文脈を捉える。
• RNNsearchなどの標準的なNMTフレームワークに本手法を適用するが、アーキテクチャの変更は不要である。

実験結果

リサーチクエスチョン

• RQ1 独立学習と比較して、双方向アテンションに基づくNMTモデルの共同学習は、語のアライメント精度を向上させるか？
• RQ2 元言語から目的言語および目的言語から元言語のアライメント行列間の一致を強制することで、翻訳品質が向上するか？
• RQ3 同意ベースの共同学習は、特に低頻度の目的言語語に注目した場合、注意分布にどのような影響を与えるか？
• RQ4 提案手法は中国語-英語および英語-フランス語のような異なる言語対に対しても有効であるか？

主な発見

• 中国語-英語および英語-フランス語のデータセットにおいて、独立学習と比較して、同意ベースの共同学習はアライメント誤り率（AER）を顕著に低減する。
• 翻訳性能が向上し、英語-フランス語タスクにおいて独立学習およびMosesベースラインと比較して顕著な向上を示す。
• 共同学習下では注意エントロピーが低下し、特に低頻度の目的言語語に対して、より集中的かつ安定した注意分布が得られる。
• 共同学習によって得られたアライメント行列は、独立に学習されたモデルと比較して、より高い一貫性と構造的整合性を示す。
• アライメント品質の向上と翻訳品質の向上が相関しており、より良いアライメントがより正確な生成をもたらすことが示唆される。
• 本手法は言語対にわたって一般化が良く、共同最適化を除いてアーキテクチャの変更は不要である。