[论文解读] Med-MMHL: A Multi-Modal Dataset for Detecting Human- and LLM-Generated Misinformation in the Medical Domain

Yanshen Sun, Jianfeng He+3 more|arXiv (Cornell University)|Jun 15, 2023

Misinformation and Its Impacts被引用 11

一句话总结

Med-MMHL 是一个覆盖多种疾病的医学多模态错误信息数据集，包含人类与LLM生成的伪信息，基准涉及句子、文档与多模态水平。

ABSTRACT

The pervasive influence of misinformation has far-reaching and detrimental effects on both individuals and society. The COVID-19 pandemic has witnessed an alarming surge in the dissemination of medical misinformation. However, existing datasets pertaining to misinformation predominantly focus on textual information, neglecting the inclusion of visual elements, and tend to center solely on COVID-19-related misinformation, overlooking misinformation surrounding other diseases. Furthermore, the potential of Large Language Models (LLMs), such as the ChatGPT developed in late 2022, in generating misinformation has been overlooked in previous works. To overcome these limitations, we present Med-MMHL, a novel multi-modal misinformation detection dataset in a general medical domain encompassing multiple diseases. Med-MMHL not only incorporates human-generated misinformation but also includes misinformation generated by LLMs like ChatGPT. Our dataset aims to facilitate comprehensive research and development of methodologies for detecting misinformation across diverse diseases and various scenarios, including human and LLM-generated misinformation detection at the sentence, document, and multi-modal levels. To access our dataset and code, visit our GitHub repository: \url{https://github.com/styxsys0927/Med-MMHL}.

研究动机与目标

• 通过纳入COVID-19以外的多种疾病来解决早期医疗错误信息数据集的局限性。
• 整合视觉数据（图像）以实现多模态错误信息检测。
• 将LLM生成的错误信息（如ChatGPT）与人类生成的内容并列。
• 提供句子级、文档级与多模态级错误信息检测的基准。
• 从新闻、推文和图像抓取数据，创建一个适合跨疾病泛化的多样化数据集。

提出的方法

• 从权威来源和事实核查站点抓取真实与伪造医学新闻，构建真实、人工伪造和LLM伪造文本及相关图像。
• 通过引入ChatGPT-3.5风格的对立句子并润色语言来模拟LLM生成的错误信息。
• 收集与真实与伪新闻相关联的推文，形成基于推文的任务。
• 通过将文本与相关图像对齐，创建多模态子集，以应对伪新闻和伪陈述。
• 定义五个基准任务（伪新闻、LLM伪句、多模态伪新闻、伪推文、多模态推文），覆盖句子、文档和多模态数据。

实验结果

研究问题

• RQ1 模型在多种疾病中区分真实医学新闻与人类与LLM生成的错误信息的能力如何？
• RQ2 多模态信息（图像）对医学领域错误信息检测有何影响？
• RQ3 LLM生成的伪句在该领域是否如LLM生成的伪新闻一样易于检测？
• RQ4 模型是否能将错误信息检测从COVID-19推广到其他疾病的医学语料库？
• RQ5 在Med-MMHL中，基线模型在句子级、文档级与多模态级错误信息任务上的表现如何？

主要发现

• 基于Transformer的基线在伪新闻检测上优于非Transformer方法，但类别不平衡导致精确率较高而召回率较低。
• FN-BERT 在所评估的基线中在文档级伪新闻与推文检测方面表现最佳。
• LLM生成的伪句比LLM生成的伪新闻更难检测，表明需要改进句子级检测方法。
• 多模态模型（CLIP、VisualBERT）在多模态伪新闻检测任务上表现强劲，但仅对文本中的真实与伪信息时受限。
• 数据集包含3455篇真实新闻、469条人工生成伪新闻、2095条LLM生成伪新闻、2283条真实陈述和3567条伪陈述，并附有大量推文与多模态配对（详见表2）。