[论文解读] Domain Adaptation and Multi-Domain Adaptation for Neural Machine Translation: A Survey

Danielle Saunders|arXiv (Cornell University)|Apr 14, 2021

Natural Language Processing Techniques被引用 6

一句话总结

本综述全面概述了神经机器翻译（NMT）中的领域自适应（DA）与多领域自适应（MDA）技术，将方法分类为数据驱动、架构改进、参数自适应和推理阶段自适应四类。文章强调了灾难性遗忘和过拟合等挑战，并指出了未来关键研究方向：细粒度自适应、无监督自适应、效率提升，以及通过神经遗忘实现有意遗忘。

ABSTRACT

The development of deep learning techniques has allowed Neural Machine Translation (NMT) models to become extremely powerful, given sufficient training data and training time. However, systems struggle when translating text from a new domain with a distinct style or vocabulary. Fine-tuning on in-domain data allows good domain adaptation, but requires sufficient relevant bilingual data. Even if this is available, simple fine-tuning can cause overfitting to new data and `catastrophic forgetting' of previously learned behaviour. We concentrate on robust approaches to domain adaptation for NMT, particularly where a system may need to translate across multiple domains. We divide techniques into those revolving around data selection or generation, model architecture, parameter adaptation procedure, and inference procedure. We finally highlight the benefits of domain adaptation and multi-domain adaptation techniques to other lines of NMT research.

研究动机与目标

• 系统性回顾神经机器翻译（NMT）中领域自适应与多领域自适应的现有方法。
• 识别在将NMT模型适配至新领域时面临的关键挑战，如灾难性遗忘、过拟合与数据稀缺。
• 探讨领域自适应技术如何促进更广泛的NMT研究领域，包括低资源翻译、偏见缓解与文档级翻译。
• 突出新兴趋势，如无监督自适应、细粒度微调，以及通过神经遗忘实现的有意遗忘。
• 通过识别效率、可扩展性与鲁棒性方面的关键开放挑战，为未来研究提供指导。

提出的方法

• 将领域自适应技术划分为四大类：数据选择/生成、模型架构修改、参数自适应方法与推理阶段自适应。
• 回顾微调作为基线方法，识别其局限性，如在新领域数据有限时易导致过拟合与灾难性遗忘。
• 考察以数据为中心的策略，包括领域内数据选择、通过回译生成伪双语数据，以及单语数据过滤以实现领域特定自适应。
• 分析架构创新，如适配器层、基于适配器的微调，以及稀疏参数更新，以降低自适应成本并防止遗忘。
• 探索无需重新训练即可自适应输出的推理阶段方法，包括动态解码与基于注意力的领域路由。
• 提出参数稀疏化、低秩微调与遗忘机制等技术可提升效率，并实现对过时或有偏行为的有意遗忘。

实验结果

研究问题

• RQ1 如何在不造成先前知识灾难性遗忘的前提下，有效将NMT模型适配至新领域？
• RQ2 在多领域NMT中，最有效的以数据为中心、架构改进与参数自适应策略是什么？
• RQ3 当平行领域内数据稀缺时，无监督或弱监督自适应在多大程度上能提升性能？
• RQ4 如何实现高效且鲁棒的细粒度自适应（如句子级或用户级），以避免过拟合？
• RQ5 是否可利用神经遗忘技术，有意识地遗忘NMT系统中过时或有偏的翻译模式？

主要发现

• 微调仍是领域自适应的常用基线方法，但在新领域数据有限时，存在过拟合与灾难性遗忘的风险。
• 以数据为中心的方法，如领域内数据选择与回译，能有效生成伪双语数据，尤其在低资源环境下表现优异。
• 架构改进如适配器层与稀疏参数更新，可实现高效、参数高效的自适应，无需重新训练完整模型。
• 推理阶段自适应技术（如动态注意力路由或输出校正）可在不修改模型权重的情况下实现领域自适应，显著提升效率。
• 利用单语领域内数据进行无监督领域自适应是一种有前景的方向，尤其在缺乏平行数据时。
• 未来研究应优先关注效率、细粒度自适应与有意遗忘，以应对NMT系统在可持续性、隐私与偏见方面的问题。