[论文解读] CARE-MI: Chinese Benchmark for Misinformation Evaluation in Maternity and Infant Care

Tong Xiang, Liangzhi Li+5 more|arXiv (Cornell University)|Jul 4, 2023

Topic Modeling被引用 4

一句话总结

CARE-MI 在敏感的孕产及婴幼儿护理领域引入了一个用于评估长文本生成中虚假信息的中文基准，包含1,612个专家验证的问题及人工选择的参考文献。研究揭示了当前中文大语言模型在该领域存在显著的事实性错误，并提出了自动化判断模型以减少对人工评估的依赖，为低资源、知识密集型领域提供可迁移的评估框架。

ABSTRACT

The recent advances in natural language processing (NLP), have led to a new trend of applying large language models (LLMs) to real-world scenarios. While the latest LLMs are astonishingly fluent when interacting with humans, they suffer from the misinformation problem by unintentionally generating factually false statements. This can lead to harmful consequences, especially when produced within sensitive contexts, such as healthcare. Yet few previous works have focused on evaluating misinformation in the long-form (LF) generation of LLMs, especially for knowledge-intensive topics. Moreover, although LLMs have been shown to perform well in different languages, misinformation evaluation has been mostly conducted in English. To this end, we present a benchmark, CARE-MI, for evaluating LLM misinformation in: 1) a sensitive topic, specifically the maternity and infant care domain; and 2) a language other than English, namely Chinese. Most importantly, we provide an innovative paradigm for building LF generation evaluation benchmarks that can be transferred to other knowledge-intensive domains and low-resourced languages. Our proposed benchmark fills the gap between the extensive usage of LLMs and the lack of datasets for assessing the misinformation generated by these models. It contains 1,612 expert-checked questions, accompanied with human-selected references. Using our benchmark, we conduct extensive experiments and found that current Chinese LLMs are far from perfect in the topic of maternity and infant care. In an effort to minimize the reliance on human resources for performance evaluation, we offer off-the-shelf judgment models for automatically assessing the LF output of LLMs given benchmark questions. Moreover, we compare potential solutions for LF generation evaluation and provide insights for building better automated metrics.

研究动机与目标

• 为知识密集型、敏感领域（如孕产及婴幼儿保健）中的长文本生成虚假信息评估基准的缺失提供解决方案。
• 填补低资源语言（特别是中文）在虚假信息评估方面的空白，因为此前大多数研究集中于英语。
• 开发一种自动化、可扩展的评估范式，减少对人工标注参考文献的依赖，同时保持高可靠性。
• 提供一个可迁移的基准评估框架，适用于其他知识密集型领域和低资源语言。

提出的方法

• 在孕产及婴幼儿护理领域精心整理了1,612个专家验证的问题，每个问题均获得至少三个权威知识来源的支持。
• 收集了人工选择的参考答案，以确保长文本生成中事实正确性和语境相关性。
• 采用 GPT-3.5-turbo 的零样本提示策略，生成否定句和真实陈述，用于数据增强和模型校准。
• 在结构化提示模板上微调小型大语言模型（GPT-3-350M、GPT-3-6.7B、LLaMA-13B-T），构建用于评分事实正确性的自动化判断模型。
• 在基准上评估多个大语言模型（如 MOSS、ChatGLM、GPT-4、LLaMA），测量输出长度、事实一致性及与参考文献的对齐程度。
• 将自动指标（ROUGE、BLEU）与人工判断进行比较，以评估其在检测长文本生成中虚假信息的可靠性。

实验结果

研究问题

• RQ1 在敏感的孕产及婴幼儿护理领域，中文大语言模型在长文本生成中事实性虚假信息的普遍程度如何？
• RQ2 在无须人工标注参考文献的情况下，自动化判断模型在多大程度上能准确评估大语言模型生成回复的事实正确性？
• RQ3 不同大语言模型在具备专家验证问题和参考文献的基准上，生成知识密集型长文本响应的表现如何？
• RQ4 所提出的基准框架能否推广至其他知识密集型领域和低资源语言？
• RQ5 标准自动指标（如 ROUGE、BLEU）在检测长文本生成中幻觉现象方面存在哪些局限性？

主要发现

• 当前中文大语言模型生成的长文本平均为123.1个词元和4.6个句子，但在孕产及婴幼儿护理领域存在显著的事实性错误。
• GPT-4 和 GPT-3.5-turbo 的平均 ROUGE-L 分数最高（分别为 4.779 和 4.562），尽管流畅性高，但仍产生幻觉或误导性陈述。
• 在基准上微调的自动化判断模型与人工判断表现出强相关性，实现了可扩展、低成本的大语言模型输出评估。
• 标准自动指标（如 ROUGE 和 BLEU）与事实正确性相关性有限，表明其不适用于可靠检测长文本生成中的虚假信息。
• 该基准显示，即使是最先进的大语言模型（包括 GPT-4）也经常生成看似合理但事实错误的陈述，尤其是在涉及复杂医学概念的推理时。
• 本研究证实，长文本生成中的虚假信息并非仅是流畅性问题，而是深层次的事实一致性问题，亟需基于领域特定、专家验证的评估框架。