[论文解读] Hallucinations in Large Multilingual Translation Models
本论文分析大型多语言翻译模型(M2M-NMT 和 ChatGPT)在100+个方向上的幻觉现象,识别普遍性、类型以及对扰动和自然翻译的缓解策略。
Large-scale multilingual machine translation systems have demonstrated remarkable ability to translate directly between numerous languages, making them increasingly appealing for real-world applications. However, when deployed in the wild, these models may generate hallucinated translations which have the potential to severely undermine user trust and raise safety concerns. Existing research on hallucinations has primarily focused on small bilingual models trained on high-resource languages, leaving a gap in our understanding of hallucinations in massively multilingual models across diverse translation scenarios. In this work, we fill this gap by conducting a comprehensive analysis on both the M2M family of conventional neural machine translation models and ChatGPT, a general-purpose large language model~(LLM) that can be prompted for translation. Our investigation covers a broad spectrum of conditions, spanning over 100 translation directions across various resource levels and going beyond English-centric language pairs. We provide key insights regarding the prevalence, properties, and mitigation of hallucinations, paving the way towards more responsible and reliable machine translation systems.
研究动机与目标
- 评估在英语为中心和非英语为中心方向上,大规模多语言翻译模型中幻觉的普遍性和属性。
- 比较监督式多语言NMT(M2M系列)与提示驱动的LLM翻译(ChatGPT)的幻觉行为。
- 在多样语言对和领域中,研究输入扰动下与自然(未扰动)翻译的幻觉。
- 探索缓解策略,包括解码器设计、统一采样,以及使用回退系统以提高翻译可靠性。
提出的方法
- 在100种语言上评估M2M-100家族模型(S: 418M,M: 1.2B,L: 12B)和蒸馏的SMaLL100(330M);解码时束宽为4。
- 使用ChatGPT(gpt-3.5-turbo)进行零-shot提示翻译;与NMT基线进行比较。
- 通过扰动基检测(错拼、大小写、频繁词元插入)和自然幻觉检测器来表征幻觉。
- 使用ALTI+(detached)和top-n-gram(TNG,oscillatory)将自然幻觉分为分离型和振荡型。
- 在Flores-101、WMT和TICO医学领域数据集上进行评估;报告质量和检测的sBLEU、COMET-22、CometKiwi、LaBSE分数。

实验结果
研究问题
- RQ1在高资源、低资源等不同资源水平的语言中,多语言翻译模型的幻觉普遍性有多高?
- RQ2ChatGPT 与传统NMT模型在多语言翻译中表现出相似还是不同的幻觉模式?
- RQ3出现哪些类型的自然幻觉(分离型与振荡型),它们如何随语言资源水平和翻译方向变化?
- RQ4扰动鲁棒性以及架构/训练选择是否能缓解幻觉,以及回退机制是否能提升整体翻译质量?
主要发现
- 低资源语言对和涉及非英语中心方向的翻译中幻觉率上升,常常超过10%。
- 扰动下的幻觉随资源水平提高而下降,但语言之间的变异仍然存在;ChatGPT显示出不同模式(更多的目标偏离、过度生成、较少的振荡幻觉)。
- 像SMaLL100这样的蒸馏浅层模型通过更多依赖编码器表征并使用统一采样来减少高资源偏向,从而在低资源设置中显示出较少的幻觉语言数量。
- 自然幻觉在低资源方向中频繁发生,并且对低资源语言更倾向于分离,而振荡在中高资源方向更为普遍。
- 带有多样模型的回退系统显著提高翻译质量并缓解如振荡幻觉等病理;对扰动产生的绝大多数幻觉可通过额外采样逆转。

阅读本论文
在 Nubint 阅读器中打开原文,边读边就任意段落提问。
在 Nubint 中阅读本论文本解读由 AI 根据论文原文生成,引用前请核对原文。