[論文レビュー] Neural Machine Translation with Supervised Attention

Lemao Liu, Masao Utiyama+2 more|arXiv (Cornell University)|Sep 14, 2016

Natural Language Processing Techniques参考文献 29被引用数 27

ひとこと要約

本稿では、GIZA++などの従来のアライメントツールから得られるアライメントを用いて注意機構を教師ありで訓練することで、アライメントの正確性を向上させる、ニューラル機械翻訳のための教師付きアテンション（SA-NMT）を提案する。2つの中国語-英語翻訳タスクにおける実験では、教師ありアライメントのガイダンスを活用することで、強力なベースラインより最大2.5 BLEUポイントの向上を達成し、標準的なNMTおよびMosesよりも低リソース設定で優れた性能を発揮した。

ABSTRACT

The attention mechanisim is appealing for neural machine translation, since it is able to dynam- ically encode a source sentence by generating a alignment between a target word and source words. Unfortunately, it has been proved to be worse than conventional alignment models in aligment accuracy. In this paper, we analyze and explain this issue from the point view of re- ordering, and propose a supervised attention which is learned with guidance from conventional alignment models. Experiments on two Chinese-to-English translation tasks show that the super- vised attention mechanism yields better alignments leading to substantial gains over the standard attention based NMT.

研究の動機と目的

• 標準的なNMTにおける注意機構のアライメント精度が、従来のアライメントモデルに比べて低いという問題に取り組むこと。
• NMTにおける非教師あり注意機構が、特に再順序化タスクにおいてなぜ従来のアライメントモデルに劣るのかを調査すること。
• GIZA++ や fast_align などの市販のアライマップから得られる教師ありアライメント信号を組み込むことで、NMTの性能を向上させること。
• 注意機構と翻訳の共同学習にアライメントの教師信号を組み込むことで、アライメント品質と翻訳性能の両方が向上するかどうかを検討すること。
• 翻訳のための教師信号だけでなく、注意機構自体を教師する方が、より良い勾配の流れとモデル最適化をもたらすことを示すこと。

提案手法

• 従来のアライマップツール（例：GIZA++ や fast_align）を用いて、学習用の並列コーパス上で事前に語のアライメントを計算する。
• 共同学習中に、事前に計算されたアライメントを注意機構の教師信号として扱う。
• 翻訳損失とアライメント損失を組み合わせた共同学習目的関数を導入し、両者を調整するハイパーパrameter λ を用いる。
• 標準的なNMTアーキテクチャを変更し、注意重み αt を隠れ変数ではなく、観測可能な（教師ありの）変数として扱う。
• 予測された注意重みが従来のアライマップツールによる正解アライメントと一致するよう促す正則化項を損失関数に追加する。
• 翻訳とアライメントの両方の教師信号を用いて、全体をエンドツーエンドで訓練することで、勾配の流れとアライメントの正確性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 なぜNMTにおける標準的な注意機構が、従来のアライメントモデルに比べて低いアライメント精度を示すのか？
• RQ2 従来のアライメントモデルからの教師信号が、NMTにおける注意アライメントの質を向上させられるか？
• RQ3 アライメントの教師信号を用いて注意機構と翻訳を共同で学習させることで、非教師あり注意機構に比べて翻訳性能が向上するか？
• RQ4 教師あり注意機構は、特に勾配消失問題の緩和にどのように影響するか？
• RQ5 提案手法は、高リソースおよび低リソースの両方の翻訳設定で顕著な向上を達成できるか？

主な発見

• 提案されたSA-NMTモデルは、大規模な中国語-英語翻訳タスクにおいて、最も強いベースラインより2.5 BLEUポイントの向上を達成した。
• 低リソースの中国語-英語翻訳タスクでは、標準的な注意ベースのNMTよりも約5 BLEUポイントの向上を達成した。
• SA-NMTにおける注意機構のアライメント誤差率（AER）は、標準的なNMTに比べて顕著に低く抑えられており、より優れた単語アライメント品質を示している。
• アライメントの教師信号を用いた共同学習により、勾配の流れが改善された。これは、注意の教師信号がネットワークの上部ではなく、中間部に位置するためである。
• 3万文の文書ペアしか使用しなかったにもかかわらず、低リソース設定でMosesとの性能ギャップを縮小し、より大きなコーパスを必要としていた従来の手法を上回った。
• 本手法は汎用的であり、任意の注意ベースのNMTモデルに適用可能である。これは、訓練目的関数における正則化項として機能するためである。