[论文解读] Democratizing Neural Machine Translation with OPUS-MT

Jörg Tiedemann, Mikko Aulamo+8 more|arXiv (Cornell University)|Dec 4, 2022

Natural Language Processing Techniques被引用 4

一句话总结

本文介绍了 OPUS-MT，这是一个开源计划，通过提供公开可访问、高质量、预训练的翻译模型和工具，使神经机器翻译（NMT）更加普及。OPUS-MT 基于多语种平行语料库的 OPUS 生态系统构建，使研究人员和开发者能够在包括 Hugging Face 和欧洲语言网格在内的多种平台上，部署高效、透明且无许可限制的翻译模型，显著降低了低资源语言和可持续 NLP 发展的入门门槛。

ABSTRACT

This paper presents the OPUS ecosystem with a focus on the development of open machine translation models and tools, and their integration into end-user applications, development platforms and professional workflows. We discuss our on-going mission of increasing language coverage and translation quality, and also describe on-going work on the development of modular translation models and speed-optimized compact solutions for real-time translation on regular desktops and small devices.

研究动机与目标

• 解决低资源和代表性不足语言缺乏开放、透明且可访问的神经机器翻译（NMT）解决方案的问题。
• 减少对依赖利润驱动、损害数据隐私和透明度的专有 MT 服务的依赖。
• 通过开源共享和宽松许可，支持可持续的 NLP 发展，实现计算成本高昂模型的重复使用。
• 扩展语言覆盖范围并提高模型效率，以实现在标准台式机和小型设备上的部署。
• 通过互操作工具和 API，将高质量的 NMT 模型集成到专业工作流程、研究平台和终端用户应用中。

提出的方法

• 利用 OPUS 生态系统，该系统汇集并整理大规模公开的平行语料库，作为 NMT 模型的训练数据。
• 开发模块化、基于迁移学习的 NMT 架构，支持对新语言对的高效微调和适应。
• 创建优化且紧凑的模型，实现在消费级硬件上的实时推理，降低计算和能耗成本。
• 将训练好的模型集成到 Hugging Face、欧洲语言网格和 OPUS-CAT 等广泛使用的平台中，用于专业计算机辅助翻译。
• 利用 OPUS-API、OpusTools 和 OpusFilter 等工具，实现模型训练中数据整理、过滤和流水线自动化的支持。
• 建立基准和评估框架，以监控并提升多样化语言对之间的翻译质量。

实验结果

研究问题

• RQ1 如何有效扩展开放的、预训练的 NMT 模型，以支持广泛的低资源和高资源语言？
• RQ2 哪些技术和架构策略能够实现在标准台式机和移动设备上的高效、实时推理？
• RQ3 开源、社区驱动的 NMT 模型开发在多大程度上能促进 NLP 领域的透明性、可持续性和公平访问？
• RQ4 模块化和可迁移的 NMT 架构在多语言设置中，能在多大程度上提升性能并降低训练成本？
• RQ5 哪些集成模式能够实现 NMT 模型在专业翻译工作流程和研究平台中的无缝部署？

主要发现

• OPUS-MT 已产出大量高质量、可公开获取且可重用的预训练 NMT 模型，均采用宽松许可协议。
• 将 OPUS-MT 模型集成到 Hugging Face 和欧洲语言网格等平台，使研究人员和开发者能够立即访问和部署。
• 已开发出紧凑且速度优化的模型，可在标准台式机和小型设备上实现实时翻译，减少对高性能计算基础设施的依赖。
• 通过系统化的数据整理和引入多样化平行语料库，项目显著扩展了语言覆盖范围，特别是对低资源语言的支持。
• OPUS-MT 的模块化框架支持迁移学习和微调，可高效适应新语言对和新领域。
• 与 LibreTranslate 等项目的合作，以及通过 OPUS-CAT 将模型集成到专业工作流程中，证明了该生态系统的实际可扩展性和互操作性。