[論文レビュー] Capturing Longer Context for Document-level Neural Machine Translation: A Multi-resolutional Approach.

Zewei Sun, Mingxuan Wang+5 more|arXiv (Cornell University)|Oct 18, 2020

Natural Language Processing Techniques参考文献 51被引用数 11

ひとこと要約

本稿では、文単位および文書単位の両方で同時に学習することで、文書レベルの機械翻訳における長距離の話法的文脈を捉えるニューラル系列対系列モデルであるMulti-Resolutional Doc2Docを提案する。BLEU、語彙インデックス、言語的指標、および6ヶ国語の9つの文書レベルおよび2つの文単位のデータセットにおける人的評価を含む複数の指標で、文単位モデルおよび先行手法を上回る性能を発揮する。

ABSTRACT

Discourse context has been proven useful when translating documents. It is quite a challenge to incorporate long document context in the prevailing neural machine translation models such as Transformer. In this paper, we propose multi-resolutional (MR) Doc2Doc, a method to train a neural sequence-to-sequence model for document-level translation. Our trained model can simultaneously translate sentence by sentence as well as a document as a whole. We evaluate our method and several recent approaches on nine document-level datasets and two sentence-level datasets across six languages. Experiments show that MR Doc2Doc outperforms sentence-level models and previous methods in a comprehensive set of metrics, including BLEU, four lexical indices, three newly proposed assistant linguistic indicators, and human evaluation.

研究の動機と目的

• Transformerベースのニューラル機械翻訳モデルにおける長距離の文書レベルの話法的文脈を統合する課題に対処すること。
• 同時に文単位および文書単位の翻訳が可能な統合的学習フレームワークの開発。
• 複数解像度の文脈理解を活用することで、文単位モデルを上回る翻訳品質の向上。
• 多様な言語対および文書レベルのデータセットにおいて、人的評価を含む複数の指標を通じた包括的な評価。

提案手法

• モデルは、文単位および完全な文書としての翻訳生成をエンド・トゥ・エンドで学習させることで、複数解像度の文脈を捉えることを可能にする。
• 文書内の文の間の依存関係をモデル化する話法に配慮した表現をアーキテクチャに統合する。
• 長距離の整合性を保つために、文単位および文書単位の翻訳目的を共同で最適化する。
• 長文シーケンスにおけるアライメントとスムーズさの向上を図るため、文書レベルの文脈を強化したアテンションメカニズムを活用する。
• 文単位の出力を維持しながら、全文書の文脈に条件づけられる二重ストリームのデコード戦略を採用する。
• 標準のTransformerベースのモデルと互換性があり、複数の言語対にわたってスケーラブルであるように設計されている。

実験結果

リサーチクエスチョン

• RQ1 統合的ニューラル系列対系列モデルは、改善された翻訳のために、長距離の文書レベルの文脈を効果的に捉え、活用できるか？
• RQ2 同時に文単位および文書単位の翻訳を行う複数解像度の学習戦略は、標準的な文単位学習に比べて翻訳品質にどのように寄与するか？
• RQ3 提案手法は、多様な言語対において、自動評価指標および人的評価指標の両方でどの程度の性能向上を達成するか？
• RQ4 語彙的多様性、整合性、および言語的質の観点から、モデルの出力は以前の最先端手法と比べてどの程度優れているか？

主な発見

• MR Doc2Docは、BLEU、語彙インデックス、および新たに提案された言語的指標を含む、すべての評価指標で優れた性能を発揮する。
• 6ヶ国語の9つの文書レベルのデータセットにおいて、文単位モデルおよび先行の文書レベルアプローチを上回る。
• 人的評価により、MR Doc2Docは競合手法よりもよりスムーズで整合性があり、文脈的に正確な翻訳を生成することが確認された。
• 複数解像度の学習戦略により、文単位翻訳品質を損なうことなく、より優れた長距離文脈モデリングが可能になった。
• 多様な言語対にわたり一貫した改善が示されたため、広範な適用可能性と頑健性が裏付けられた。
• アシスタントの言語的指標の導入により、生成された翻訳における構文的および意味的整合性の向上が確認された。