[论文解读] Contrastive Domain Adaptation for Early Misinformation Detection: A Case Study on COVID-19

Zhenrui Yue, Huimin Zeng+3 more|arXiv (Cornell University)|Aug 20, 2022

Misinformation and Its Impacts被引用 9

一句话总结

本文提出CANMD，一种用于新冠疫情期间早期虚假信息检测的对比域自适应框架，通过伪标签和对比自适应损失联合校正标签偏移并学习不变表示。该方法在显著的领域和标签偏移下，相较于基线模型，平衡准确率最高提升34.5%，达到最先进性能。

ABSTRACT

Despite recent progress in improving the performance of misinformation detection systems, classifying misinformation in an unseen domain remains an elusive challenge. To address this issue, a common approach is to introduce a domain critic and encourage domain-invariant input features. However, early misinformation often demonstrates both conditional and label shifts against existing misinformation data (e.g., class imbalance in COVID-19 datasets), rendering such methods less effective for detecting early misinformation. In this paper, we propose contrastive adaptation network for early misinformation detection (CANMD). Specifically, we leverage pseudo labeling to generate high-confidence target examples for joint training with source data. We additionally design a label correction component to estimate and correct the label shifts (i.e., class priors) between the source and target domains. Moreover, a contrastive adaptation loss is integrated in the objective function to reduce the intra-class discrepancy and enlarge the inter-class discrepancy. As such, the adapted model learns corrected class priors and an invariant conditional distribution across both domains for improved estimation of the target data distribution. To demonstrate the effectiveness of the proposed CANMD, we study the case of COVID-19 early misinformation detection and perform extensive experiments using multiple real-world datasets. The results suggest that CANMD can effectively adapt misinformation detection systems to the unseen COVID-19 target domain with significant improvements compared to the state-of-the-art baselines.

研究动机与目标

• 为解决在将源领域训练的模型部署到未见目标领域时，虚假信息检测模型泛化能力差的问题，特别是在新冠疫情期间早期虚假信息爆发阶段。
• 克服现有域自适应方法在源域与目标域之间存在较大条件分布和标签偏移时失效的局限性。
• 提升在低资源、标签稀缺场景（如新冠疫情期间新兴虚假信息）下的早期检测性能。
• 开发一种能有效校正类别先验偏移并学习跨领域不变表示的方法，以实现更鲁棒的检测。

提出的方法

• 利用预训练的虚假信息检测模型为目标领域生成高置信度的伪标签样本。
• 引入可学习的重标度组件，以估计并校正源域与目标域之间的标签偏移（即类别先验差异）。
• 采用类别感知采样策略，平衡源数据与伪标签目标数据的联合训练分布。
• 采用对比自适应损失，以最小化特征空间内的类内差异并最大化类间分离。
• 通过结合分类损失、标签校正损失和对比自适应损失的多目标损失函数，联合训练源数据与伪标签目标数据。
• 在伪标签生成过程中使用温度缩放和置信度阈值，以确保用于联合训练的目标预测具有高质量。

实验结果

研究问题

• RQ1 当源域与目标域之间存在显著的标签偏移和条件分布偏移时，域自适应方法是否能有效检测新冠疫情期间的早期虚假信息？
• RQ2 标签偏移校正对低资源虚假信息检测中域自适应模型性能有何影响？
• RQ3 对比学习在虚假信息检测中多大程度上能提升特征不变性与分类鲁棒性？
• RQ4 在存在显著领域差异和类别不平衡的情况下，所提出的框架是否优于现有的最先进域自适应基线方法？
• RQ5 该框架对超参数（如置信度阈值和对比损失权重）的敏感性如何？

主要发现

• CANMD在多个目标数据集上，平均平衡准确率较最先进基线提升11.5%。
• 在CoAID数据集上，CANMD达到0.6487的平衡准确率，显著优于基线模型（约0.5），后者因严重类别不平衡而表现不佳。
• 在CoAID上，标签校正组件对性能提升贡献最大，其中超过90%的样本为可信，证明其在纠正先验偏移方面的有效性。
• 对比自适应损失在所有数据集上均提升性能，尤其在领域差异较大的数据集中提升最为显著。
• 该框架对超参数变化具有鲁棒性，在不同置信度阈值和对比损失权重下均保持稳定性能。
• 消融实验表明，标签校正与对比自适应均为关键组件，移除任一组件均导致性能显著下降。