[論文レビュー] Document-level Neural Machine Translation with Inter-Sentence Attention.

Shu Jiang, Rui Wang+6 more|arXiv (Cornell University)|Oct 31, 2019

Natural Language Processing Techniques参考文献 25被引用数 8

ひとこと要約

本稿では、翻訳に最も関連性の高い文書レベルの文脈を動的に選択するメモリネットワークを統合した、注意機構を拡張したTransformer NMTモデルを提案する。文間注意とメモリベースの関連性フィルタリングを統合することで、複数のタスクにおいて強力なTransformerベースラインを著しく上回る翻訳品質を実現する。

ABSTRACT

Standard neural machine translation (NMT) is on the assumption of document-level context independent. Most existing document-level NMT methods only focus on briefly introducing document-level information but fail to concern about selecting the most related part inside document context. The capacity of memory network for detecting the most relevant part of the current sentence from the memory provides a natural solution for the requirement of modeling document-level context by document-level NMT. In this work, we propose a Transformer NMT system with associated memory network (AMN) to both capture the document-level context and select the most salient part related to the concerned translation from the memory. Experiments on several tasks show that the proposed method significantly improves the NMT performance over strong Transformer baselines and other related studies.

研究の動機と目的

• 標準NMTが文書レベルの文脈を処理する能力に限界を示す問題に対処するため、関連する以前の文を統合する。
• 文書文脈の最も顕著な部分に選択的に注目することで、翻訳性能を向上させる。
• 既存の文書レベルNMT手法が関連する文脈を効果的にフィルタリングまたは優先順位付けできないという欠陥を克服する。
• Transformerアーキテクチャにメモリネットワークを統合し、文書翻訳における長距離依存関係と関連性をモデル化する。

提案手法

• 文書文脈からの関連する文を保存・取得する関連メモリネットワーク（AMN）を導入する。
• 文間注意を用いて、現在の文と文書内すべての以前の文との間の関連性スコアを計算する。
• 動的な文脈選択を実現するためのメモリメカニズムを採用する。
• Transformerアーキテクチャのデコーダーにおける自己注意およびクロス注意機構に、選択された文脈を統合する。
• 標準NMTの目的関数に従い、エンドツーエンドで学習させ、メモリネットワークを用いて文脈表現を最適化する。

実験結果

リサーチクエスチョン

• RQ1 関連メモリを備えた注目機構が、以前の文から最も関連性の高い文脈を選択することで、文書レベルNMTの性能を向上させることができるか？
• RQ2 提案されたAMNモデルは、標準Transformerおよび他の文書レベルNMT手法と比較して、翻訳品質においてどのように異なるか？
• RQ3 文間注意は、長文書翻訳タスクにおける文脈モデリングをどの程度向上させるか？
• RQ4 メモリネットワークの統合により、多様な文書レベル翻訳シナリオにおいてより頑健で一貫性のあるパフォーマンスが得られるか？

主な発見

• 提案手法は、複数の文書レベル翻訳タスクにおいて、強力なTransformerベースラインを著しく上回る顕著な改善を達成した。
• メモリネットワークは、翻訳に最も関連する以前の文を効果的に特定・優先順位付けし、文脈モデリングを向上させた。
• 文間注意の統合により、長文書におけるソース文とターゲット文の間の整合性が向上した。
• 異なる言語対および文書長さにおいて、一貫したパフォーマンス向上を示した。