[論文レビュー] Cache-based Document-level Neural Machine Translation.

Shaohui Kuang, Deyi Xiong+2 more|arXiv (Cornell University)|Nov 30, 2017

Natural Language Processing Techniques参考文献 23被引用数 9

ひとこと要約

本稿では、前回の翻訳と文書全体のトピックから得られる文脈的情報を活用することで、文書レベルの整合性を向上させるキャッシュベースのニューラル機械翻訳モデルを提案する。動的キャッシュとして過去に翻訳された単語の履歴を保持し、意味的に関連する語のトピックキャッシュを導入し、NMT確率とゲーティング機構を用いて統合することで、NIST中国語-英語翻訳ベンチマークで顕著な向上を達成する。

ABSTRACT

Sentences in a well-formed text are connected to each other via various links to form the cohesive structure of the text. Current neural machine translation (NMT) systems translate a text in a conventional sentence-by-sentence fashion, ignoring such cross-sentence links and dependencies. This may lead to generate an incohesive and incoherent target text for a cohesive and coherent source text. In order to handle this issue, we propose a cache-based approach to document-level neural machine translation by capturing contextual information either from recently translated sentences or the entire document. Particularly, we explore two types of caches: a dynamic cache, which stores words from the best translation hypotheses of preceding sentences, and a topic cache, which maintains a set of target-side topical words that are semantically related to the document to be translated. On this basis, we build a new layer to score target words in these two caches with a cache-based neural model. Here the estimated probabilities from the cache-based neural model are combined with NMT probabilities into the final word prediction probabilities via a gating mechanism. Finally, the proposed cache-based neural model is trained jointly with a state-of-the-art neural machine translation system in an end-to-end manner. On several NIST Chinese-English translation tasks, our experiments demonstrate that the proposed cache-based model achieves substantial improvements over several state-of-the-art SMT and NMT baselines.

研究の動機と目的

• 従来の文単位でのNMTシステムに見られる文間の整合性の欠如を解消すること。
• 文脈的キャッシュを用いて文書内の長距離依存関係をモデル化すること。
• 最近の翻訳履歴と文書全体のトピックを統合することで翻訳品質を向上させること。
• 最先端のNMTシステムとキャッシュ機構をエンドツーエンドで共同学習させること。

提案手法

• 以前に翻訳された文の最良の翻訳仮説から得られる単語を格納する動的キャッシュを提案する。
• 文書全体のトピックに関連するターゲット側の語を保持するトピックキャッシュを導入する。
• 両キャッシュからの確率推定を実行するキャッシュベースのニューラルスコアリング層を設計する。
• ゲーティング機構を用いてキャッシュベースの確率と標準NMT確率を統合する。
• 翻訳とキャッシュの活用を同時に最適化できるように、最先端のNMTシステムと統合してエンドツーエンドで学習する。
• 注意機構を用いてソース文とターゲット文をアライメントさせながら、キャッシュされた文脈信号を統合する。

実験結果

リサーチクエスチョン

• RQ1 過去に翻訳された単語をキャッシュに保持することで、文書レベルのニューラル機械翻訳における整合性が向上するか？
• RQ2 文書レベルのトピック的情報を組み込むことで、文単位の文脈を超えた翻訳品質の向上が達成できるか？
• RQ3 キャッシュベースの確率とNMT確率のゲーティング統合は、翻訳パフォーマンスの向上にどの程度効果的か？
• RQ4 NMTとキャッシュ機構を共同でエンドツーエンドで学習させることで、分離学習よりも優れた結果が得られるか？

主な発見

• 提案されたキャッシュベースのモデルは、NIST中国語-英語翻訳タスクにおいて、最先端のSMTおよびNMTベースラインを顕著に上回る性能を達成した。
• 動的キャッシュとトピックキャッシュの両方を統合することで、翻訳文書の整合性とスムーズさが向上した。
• ゲーティング機構は、標準NMT確率とキャッシュ由来の確率を効果的にバランスさせ、語の予測精度を向上させた。
• エンドツーエンドでの共同学習により、キャッシュ機構が安定化し、全体の翻訳品質が向上した。
• 複数のNISTテストセットで一貫した向上を示し、多様な文書タイプにわたる堅牢性を示した。
• トピックキャッシュの使用により、代名詞の解決や先行詞参照といった話法的特徴の翻訳が顕著に向上した。