[论文解读] A Survey on Multi-modal Machine Translation: Tasks, Methods and Challenges

Huangjun Shen, Liangying Shao+4 more|arXiv (Cornell University)|May 21, 2024

Natural Language Processing Techniques被引用 4

一句话总结

本综述对多模态机器翻译（MMT）进行了全面分析，涵盖99项先前研究，涉及任务、模型、数据集和评估指标。其识别出的关键技术包括双注意力机制和对比学习，强调了视觉上下文带来的性能提升，并提出了未来在大语言模型（LLM）集成、更优评估方法以及可扩展数据集方面的发展方向。

ABSTRACT

In recent years, multi-modal machine translation has attracted significant interest in both academia and industry due to its superior performance. It takes both textual and visual modalities as inputs, leveraging visual context to tackle the ambiguities in source texts. In this paper, we begin by offering an exhaustive overview of 99 prior works, comprehensively summarizing representative studies from the perspectives of dominant models, datasets, and evaluation metrics. Afterwards, we analyze the impact of various factors on model performance and finally discuss the possible research directions for this task in the future. Over time, multi-modal machine translation has developed more types to meet diverse needs. Unlike previous surveys confined to the early stage of multi-modal machine translation, our survey thoroughly concludes these emerging types from different aspects, so as to provide researchers with a better understanding of its current state.

研究动机与目标

• 提供多模态机器翻译（MMT）研究的系统性与最新综述，涵盖除场景图像MMT之外的新兴类型。
• 分析不同模型架构、训练策略和视觉编码技术对MMT性能的影响。
• 识别当前评估实践中的不足，特别是对BLEU和METEOR等纯文本指标的过度依赖。
• 提出未来研究方向，包括与大语言模型（LLMs）的集成、改进的自动评估方法以及可扩展的多领域数据集。

提出的方法

• 本综述对99篇具有代表性的MMT论文进行了全面文献回顾，按任务类型、模型设计、训练策略和分析进行分类。
• 将MMT分类为场景图像MMT和新兴类型，如电子商务产品MMT、视频引导MMT以及多模态同步翻译。
• 关键模型设计技术包括双注意力机制、图像作为补充、文本到图像生成以及基于检索的方法。
• 采用标准指标（如BLEU和METEOR）评估性能，并对不同数据集和模型变体的结果进行详细对比。
• 分析图像编码器（如ResNet、视觉Transformer）和训练技术（如多任务学习、对比学习、无监督学习）的有效性。
• 讨论当前评估的局限性，主张采用视觉对齐指标和基于大语言模型的评估方法，以更准确评估视觉输入与文本的语义对齐。

实验结果

研究问题

• RQ1 不同模型架构（如双注意力机制或图像补充策略）如何影响MMT中的翻译质量？
• RQ2 各种图像编码方法（如ResNet、视觉Transformer）和训练技术（如对比学习、预训练）在MMT中的相对性能如何？
• RQ3 为何当前自动评估指标（如BLEU和METEOR）对MMT不足，需要哪些改进？
• RQ4 如何更好地将大语言模型（LLMs）与视觉模态集成，以提升MMT性能？
• RQ5 在将MMT扩展至实际应用时面临哪些关键挑战？如何构建高质量、多领域的数据集？

主要发现

• 使用视觉上下文可显著提升翻译准确性，尤其在处理歧义词时——例如，在航海语境中，'course'（意为'航线'）在图像支持下可被正确理解。
• 采用双注意力机制的模型架构（如DA+HAN）在VaTex数据集上达到最高35.9的BLEU分数，优于简单的融合方法。
• 使用Faster R-CNN和ResNet并结合强化学习的视频引导MMT模型，在英法翻译任务中达到59.1的BLEU分数。
• 采用wait-k解码策略的多模态同步翻译（SiMT）模型在Test2016测试集上达到最高56.2的BLEU分数，展现出更优的延迟-性能权衡。
• 对比学习和多任务训练在多个数据集上持续提升性能，其增益在场景图像MMT和视频引导MMT中均有体现。
• 现有评估指标无法有效捕捉视觉-文本语义对齐，凸显了对视觉感知指标和基于大语言模型的评估框架的迫切需求。