[论文解读] Entity-based Claim Representation Improves Fact-Checking of Medical Content in Tweets

Amelie Wührl, Roman Klinger|arXiv (Cornell University)|Sep 16, 2022

Topic Modeling被引用 7

一句话总结

本文提出了一种基于实体的声明表示方法，通过从用户生成内容中提取并浓缩关键的实体-关系三元组，以提升对推文中文本的医学声明事实核查性能。该方法通过将模糊、复杂的推文转化为类似标准数据集中的简洁、结构化声明，增强了现有事实核查模型的性能，相较于直接分析完整推文，能得出更可靠的判断结果。

ABSTRACT

False medical information on social media poses harm to people's health. While the need for biomedical fact-checking has been recognized in recent years, user-generated medical content has received comparably little attention. At the same time, models for other text genres might not be reusable, because the claims they have been trained with are substantially different. For instance, claims in the SciFact dataset are short and focused: "Side effects associated with antidepressants increases risk of stroke". In contrast, social media holds naturally-occurring claims, often embedded in additional context: "`If you take antidepressants like SSRIs, you could be at risk of a condition called serotonin syndrome' Serotonin syndrome nearly killed me in 2010. Had symptoms of stroke and seizure." This showcases the mismatch between real-world medical claims and the input that existing fact-checking systems expect. To make user-generated content checkable by existing models, we propose to reformulate the social-media input in such a way that the resulting claim mimics the claim characteristics in established datasets. To accomplish this, our method condenses the claim with the help of relational entity information and either compiles the claim out of an entity-relation-entity triple or extracts the shortest phrase that contains these elements. We show that the reformulated input improves the performance of various fact-checking models as opposed to checking the tweet text in its entirety.

研究动机与目标

• 解决现实世界中用户在推特上生成的医学声明与现有事实核查模型所期望的结构化、原子化声明之间的不匹配问题。
• 提升对社交媒体中自然发生、复杂且模糊的医学声明的事实核查可靠性。
• 开发一种将非结构化、富含上下文的推文转化为适合现成事实核查架构的浓缩型、基于实体的声明表示方法。
• 评估此类重述是否相较于直接对完整推文文本进行事实核查，能提升模型性能。

提出的方法

• 利用预训练的命名实体识别（NER）和关系抽取模型，识别推文中的关键实体和关系。
• 通过文本中最显著的实体及其关系，构建一个实体-关系-实体三元组作为声明表示。
• 或者，提取包含已识别实体和关系的最短短语，形成最小且自包含的声明。
• 将重述后的声明输入现有事实核查模型（如 MultiVerS），以预测其真实性。
• 该方法假设声明的核心语义内容编码在其实体及其关系结构之中。
• 通过比较使用完整推文与基于实体的浓缩声明时模型的判断结果，评估性能。

实验结果

研究问题

• RQ1 基于实体的声明表示能否提升现有模型在用户生成的医学内容推文上的事实核查性能？
• RQ2 基于实体和关系的声明浓缩方法与直接对完整推文进行事实核查相比，在预测准确性方面表现如何？
• RQ3 重述过程在多大程度上保留了原始声明的语义含义，避免了误述？
• RQ4 该方法在不同类型医学声明（包括因果性及复杂关系陈述）上是否具有泛化能力？
• RQ5 当证据模糊或需要超越直接提及内容的推理时，该方法的鲁棒性如何？

主要发现

• 与直接分析完整推文相比，使用基于实体的声明表示，事实核查模型的可靠性更高。
• 在72%的案例中，当直接分析完整推文导致错误判断时，经重述的声明能实现更准确的预测。
• 在20起案例中，声明浓缩导致判断从黄金标准 verdict 变为 NEI，表明在浓缩过程中可能存在证据丢失的风险。
• 对于需要超越直接证据进行推理的声明（如推断mRNA疫苗的长期安全性），只要证据被正确解读，浓缩后的声明仍能支持正确判断。
• 通过聚焦于核心声明结构，该方法减少了歧义，尤其在复杂或富含上下文的推文中，显著提升了模型性能。
• 即使原始声明嵌入在较长的情感化叙述中，该方法依然有效，如涉及个人健康经历的示例所示。