[论文解读] Comparing Hallucination Detection Metrics for Multilingual Generation

Haoqiang Kang, Terra Blevins+1 more|arXiv (Cornell University)|Feb 16, 2024

Mental Health Research Topics被引用 4

一句话总结

本文评估了自动幻觉检测指标在多语言生物文本生成中的有效性——包括基于词汇的（ROUGE、命名实体重叠）和基于自然语言推理（NLI）的指标。研究发现，基于NLI的指标在高资源语言的句子级幻觉检测中表现良好，但在原子事实检测上表现不佳；而基于词汇的指标与NLI指标的相关性较差，凸显了多语言幻觉检测中存在一个关键差距，亟需更稳健、与语言无关的方法。

ABSTRACT

While many hallucination detection techniques have been evaluated on English text, their effectiveness in multilingual contexts remains unknown. This paper assesses how well various factual hallucination detection metrics (lexical metrics like ROUGE and Named Entity Overlap, and Natural Language Inference (NLI)-based metrics) identify hallucinations in generated biographical summaries across languages. We compare how well automatic metrics correlate to each other and whether they agree with human judgments of factuality. Our analysis reveals that while the lexical metrics are ineffective, NLI-based metrics perform well, correlating with human annotations in many settings and often outperforming supervised models. However, NLI metrics are still limited, as they do not detect single-fact hallucinations well and fail for lower-resource languages. Therefore, our findings highlight the gaps in exisiting hallucination detection methods for non-English languages and motivate future research to develop more robust multilingual detection methods for LLM hallucinations.

研究动机与目标

• 评估原本为英语设计的现有幻觉检测指标在多语言文本生成中的有效性。
• 探究基于词汇的指标（如ROUGE、命名实体重叠）与基于NLI的指标在非英语语言中检测事实性幻觉的相关性。
• 评估基于参考文本的指标与成对指标在多种语言中检测幻觉的表现。
• 考察语言资源可用性对幻觉检测准确率的影响，特别是在低资源环境下的表现。
• 识别当前自动指标在多语言环境下检测原子事实幻觉的局限性。

提出的方法

• 本研究使用BLOOMZ-mt模型在18种语言（包括高资源和低资源语言）上生成多语言传记摘要。
• 应用基于参考文本的指标（如ROUGE、命名实体重叠）和基于NLI的指标，将生成文本与标准参考文本进行比较。
• 通过比较同一提示生成的多个样本，计算成对指标，以评估一致性并检测幻觉。
• 针对中文和英文开展人工评估，以事实真实性验证作为黄金标准。
• 对自动指标与人工判断结果进行相关性分析，以评估其在不同语言中的可靠性。
• 研究同时评估了句子级幻觉和更简单的原子事实幻觉的检测表现，以识别指标的局限性。

实验结果

研究问题

• RQ1 与基于NLI的指标相比，传统基于词汇的指标（如ROUGE、命名实体重叠）在多语言文本生成中检测事实性幻觉的效果如何？
• RQ2 基于NLI的指标在高资源语言与低资源语言中检测幻觉的有效性在多大程度上存在差异？
• RQ3 基于参考文本和成对的NLI指标在多语言环境下与人工标注的事实性判断的相关性如何？
• RQ4 为何基于NLI的指标在句子级幻觉检测中表现良好，却无法检测原子事实幻觉？
• RQ5 语言资源的可用性在多大程度上影响自动幻觉检测指标的可靠性？

主要发现

• 即使在高资源语言中，基于词汇重叠的指标（如ROUGE和命名实体重叠）与基于NLI的指标在检测事实性幻觉方面也无显著相关性。
• 与人工评估相比，基于NLI的指标在高资源语言中能有效检测句子级幻觉，但在原子事实幻觉检测中的表现显著下降。
• 在高资源语言中，成对的NLI指标与基于参考文本的指标具有强相关性，但在低资源语言中这种相关性明显减弱。
• 基于NLI的指标的有效性高度依赖于底层NLI模型的性能，而这些模型在低资源环境下可靠性较低，限制了其泛化能力。
• 尽管前景广阔，基于NLI的指标仍无法检测简单的原子事实幻觉，表明当前事实性验证方法存在关键局限。
• 本研究揭示了多语言幻觉检测中的显著差距，尤其是在低资源语言中，简单的词汇重叠指标不足以应对，而基于NLI的方法又缺乏可靠性。