[论文解读] A Survey on Document-level Neural Machine Translation: Methods and Evaluation

Sameen Maruf, Fahimeh Saleh+1 more|arXiv (Cornell University)|Dec 18, 2019

Natural Language Processing Techniques被引用 24

一句话总结

本综述全面概述了文档级神经机器翻译（NMT），按建模、训练和解码策略对方法进行分类，这些策略均整合了文档级上下文。文章强调了评估中的关键挑战，指出了自动评估指标和测试集中的不足，并呼吁建立标准化、具备话语意识的语料库和评估框架，以推动该领域超越句级翻译的发展。

ABSTRACT

Machine translation (MT) is an important task in natural language processing (NLP) as it automates the translation process and reduces the reliance on human translators. With the resurgence of neural networks, the translation quality surpasses that of the translations obtained using statistical techniques for most language-pairs. Up until a few years ago, almost all of the neural translation models translated sentences independently, without incorporating the wider document-context and inter-dependencies among the sentences. The aim of this survey paper is to highlight the major works that have been undertaken in the space of document-level machine translation after the neural revolution, so that researchers can recognise the current state and future directions of this field. We provide an organisation of the literature based on novelties in modelling and architectures as well as training and decoding strategies. In addition, we cover evaluation strategies that have been introduced to account for the improvements in document MT, including automatic metrics and discourse-targeted test sets. We conclude by presenting possible avenues for future exploration in this research field.

研究动机与目标

• 在神经网络革命之后，对文档级神经机器翻译（NMT）研究的快速增长进行组织与综合。
• 识别并分类在建模、训练和解码策略方面的创新，这些策略整合了文档级上下文。
• 评估现有文档级MT的自动评估指标和测试集，突出其局限性和不一致性。
• 识别话语意识语料库和评估框架中的关键空白，特别是针对词形丰富和多领域语言。
• 提出未来研究方向，包括标准化的文档并行语料库和显式的语篇层面语言学标注。

提出的方法

• 本文对文档级NMT进行了系统性文献回顾，根据其核心贡献（即建模上下文、利用上下文学习或基于上下文解码）对相关工作进行组织。
• 根据其是否捕捉局部与全局上下文，以及源语言与源-目标双重视角的上下文，对建模方法进行分类。
• 评估BLEU和METEOR等自动评估指标，并讨论为评估语篇现象而提出的新型文档级指标。
• 分析针对语篇的测试集，包括WMT19中的测试集，并批评其范围有限和语言对特定性。
• 研究通过利用上下文感知注意力机制和记忆机制来保持句子间连贯性的解码策略。
• 倡导使用语篇层面的标注（如指代消解、语篇标记）以提升翻译的一致性和连贯性。

实验结果

研究问题

• RQ1 近期的NMT模型在多大程度上超越了句级独立性，实现了文档级上下文的整合？
• RQ2 哪些关键的架构和训练创新使得神经模型能够实现上下文感知的翻译？
• RQ3 当前的自动评估指标在多大程度上能够捕捉到诸如指代消解和话题-焦点结构等语篇层面现象？
• RQ4 现有测试集在评估文档级MT方面的有效性如何？其在范围和泛化能力方面存在哪些局限？
• RQ5 推动文档级NMT发展的主要瓶颈是什么？未来的研究方向应如何克服这些障碍？

主要发现

• 文档级NMT系统在保持词汇连贯性和语篇连贯性方面显著优于句级模型，尤其在处理代词和命名实体指代方面表现更优。
• 尽管有所改进，文档级MT系统在话题-焦点结构表达方面仍犯最多错误，表明语篇层面语义对齐仍是一个持续挑战。
• 现有自动评估指标如BLEU和METEOR对语篇结构不敏感，无法检测到实体指代和连贯性方面的不一致。
• 针对语篇的测试集虽具实用性，但仅限于特定语言对，缺乏广泛覆盖，限制了其泛化能力。
• 缺乏标准化、文档对齐的双语语料库——尤其是针对词形丰富或跨领域的文本——仍是模型开发与评估的主要瓶颈。
• 迫切需要自动化语篇层面的语言学标注以支持模型训练与评估，特别是针对指代消解和语篇标记的翻译。