[论文解读] Improving Fake News Detection of Influential Domain via Domain- and Instance-Level Transfer

Qiong Nan, Danding Wang+5 more|arXiv (Cornell University)|Sep 19, 2022

Misinformation and Its Impacts被引用 9

一句话总结

本文提出 DITFEND，一种领域级与实例级迁移框架，通过元学习获取通用领域知识，并利用领域自适应语言模型实现实例级可迁移性评分，从而提升政治与健康等关键领域中的虚假新闻检测性能。实验表明，该方法在数据不平衡的真实在线场景中显著优于基线模型。

ABSTRACT

Both real and fake news in various domains, such as politics, health, and entertainment are spread via online social media every day, necessitating fake news detection for multiple domains. Among them, fake news in specific domains like politics and health has more serious potential negative impacts on the real world (e.g., the infodemic led by COVID-19 misinformation). Previous studies focus on multi-domain fake news detection, by equally mining and modeling the correlation between domains. However, these multi-domain methods suffer from a seesaw problem: the performance of some domains is often improved at the cost of hurting the performance of other domains, which could lead to an unsatisfying performance in specific domains. To address this issue, we propose a Domain- and Instance-level Transfer Framework for Fake News Detection (DITFEND), which could improve the performance of specific target domains. To transfer coarse-grained domain-level knowledge, we train a general model with data of all domains from the meta-learning perspective. To transfer fine-grained instance-level knowledge and adapt the general model to a target domain, we train a language model on the target domain to evaluate the transferability of each data instance in source domains and re-weigh each instance's contribution. Offline experiments on two datasets demonstrate the effectiveness of DITFEND. Online experiments show that DITFEND brings additional improvements over the base models in a real-world scenario.

研究动机与目标

• 解决多领域虚假新闻检测中的锯齿效应问题，即在某些领域提升性能会损害其他领域的表现。
• 提升政治与健康等具有高社会影响领域的检测准确率。
• 通过区分跨领域中可迁移与不可迁移的实例，实现有效的跨领域知识迁移。
• 开发一种框架，在不降低其他领域性能的前提下提升目标领域的检测性能。

提出的方法

• 利用元学习在所有领域上训练一个通用模型，实现对目标领域的快速适应。
• 采用领域自适应语言模型预测字符/词级特征，用于估计实例的可迁移性。
• 引入一种可迁移性度量器，评估每个源实例对目标领域的相关性。
• 在训练过程中根据实例的可迁移性得分重新加权源实例的贡献。
• 结合领域级泛化与实例级选择性知识迁移，提升检测性能。
• 将该框架应用于离线数据集与真实世界在线系统，处理数据分布偏斜的问题。

实验结果

研究问题

• RQ1 领域级元学习能否提升目标领域虚假新闻检测的泛化能力与快速适应能力？
• RQ2 如何有效量化实例级可迁移性，以增强从源领域到目标领域的知识迁移？
• RQ3 基于实例级相关性的选择性迁移是否能减少无关源实例带来的干扰？
• RQ4 所提出的框架是否能在真实世界、数据不平衡的在线环境中超越现有单领域与多领域基线模型？

主要发现

• 在在线测试中，DITFEND 相较于 EANN 基线模型，在标准化部分 AUC（SPAUC）上实现了 3.40% 的相对提升，且假阳性率（FPR）≤ 0.1。
• 与 TextCNN 相比，SPAUC 提升 2.07%；与 EANN 相比，提升 3.40%，表明其在罕见虚假新闻检测方面表现强劲。
• 消融实验确认，领域级与实例级迁移组件均对整体性能有显著贡献。
• 案例研究显示，可迁移性度量器成功选中了相关源实例，例如在政治新闻检测中选中了与健康相关的文本。
• 在线实验验证了 DITFEND 在极端类别不平衡（真实与虚假样本比为 40:1）的真实系统中具有实际应用价值。
• 该方法通过在不降低其他领域性能的前提下提升目标领域表现，有效缓解了锯齿效应问题。