[论文解读] Check square at CheckThat! 2020: Claim Detection in Social Media via Fusion of Transformer and Syntactic Features

Gullal S. Cheema, Sherzod Hakimov+1 more|arXiv (Cornell University)|Jan 1, 2020

Topic Modeling参考文献 49被引用 5

一句话总结

该论文提出了一种用于社交媒体中事实核查的混合方法，通过融合 BERT 嵌入与句法特征（POS、命名实体、依存句法分析）实现英文和阿拉伯文推文的核查价值分类，并利用微调后的句子-Transformer 嵌入与 KD-search 实现可验证声明的检索。主要贡献在于两项任务均表现出色，最佳模型在声明检索任务中达到 0.695 MAP@5，在核查价值预测中达到 0.4949 的平均精度。

ABSTRACT

In this digital age of news consumption, a news reader has the ability to react, express and share opinions with others in a highly interactive and fast manner. As a consequence, fake news has made its way into our daily life because of very limited capacity to verify news on the Internet by large companies as well as individuals. In this paper, we focus on solving two problems which are part of the fact-checking ecosystem that can help to automate fact-checking of claims in an ever increasing stream of content on social media. For the first problem, claim check-worthiness prediction, we explore the fusion of syntactic features and deep transformer Bidirectional Encoder Representations from Transformers (BERT) embeddings, to classify check-worthiness of a tweet, i.e. whether it includes a claim or not. We conduct a detailed feature analysis and present our best performing models for English and Arabic tweets. For the second problem, claim retrieval, we explore the pre-trained embeddings from a Siamese network transformer model (sentence-transformers) specifically trained for semantic textual similarity, and perform KD-search to retrieve verified claims with respect to a query tweet.

研究动机与目标

• 通过识别社交媒体帖子中值得核查的声明，实现事实核查的自动化，尤其针对病毒式传播的虚假信息。
• 通过句法特征与深度上下文特征的融合，提升英文和阿拉伯文推文中声明检测的性能。
• 利用语义相似度，实现对给定查询推文的已验证声明的准确检索。
• 评估预训练与微调后的变换器模型在低资源和多语言环境下的声明检索有效性。

提出的方法

• 将 BERT 嵌入（来自 BERT-base 和 BERT-large）与句法特征（POS 标签、命名实体、依存关系）融合，用于声明核查价值预测。
• 在英文和阿拉伯文数据集上，使用支持向量机（SVM）结合主成分分析（PCA）进行降维与分类。
• 采用 Siamese 变换器模型（sentence-transformers）预训练用于语义文本相似度，以生成密集的句子嵌入用于声明检索。
• 应用 KD-search（K-维搜索）从大规模语料库中高效检索与查询最相似的已验证声明，基于语义相似度。
• 使用包含 1,003 条推文和 10,373 个已验证声明的训练集，通过三元组损失对句子-Transformer 模型进行微调，其中 197 个样本用于验证。
• 通过消融研究比较微调后的单语 BERT、多语言 DistilBERT 和现成句子-Transformer 模型在检索性能上的表现。

实验结果

研究问题

• RQ1 句法特征与基于 BERT 的上下文特征的融合是否能提升多语言社交媒体内容中核查价值预测的性能？
• RQ2 在微调或直接使用的情况下，不同预训练变换器模型（单语 vs. 多语言）在声明检索中的表现如何？
• RQ3 在多语言模型（如 DistilBERT）中，知识蒸馏是否在语义文本相似度任务中对声明检索产生性能抑制或增强作用？
• RQ4 KD-search 是否能有效利用语义嵌入从大规模语料库中检索已验证声明？

主要发现

• 在阿拉伯文任务中，核查价值预测的最佳模型使用 BERT-base 与 CLS-pooled 嵌入及句法特征，平均精度达到 0.4949。
• 未经微调的多语言 DistilBERT 模型在声明检索中表现优于微调后的单语 BERT 模型，MAP@5 达到 0.8730。
• 对多语言 DistilBERT 模型进行微调后，检索性能显著下降，MAP@5 降至 0.532，可能由于知识蒸馏过程与多语言预训练的影响。
• 移除 KD-search 并直接计算余弦相似度后，性能大幅提升，MAP@5 提高至 0.894（最佳实验运行），表明 KD-search 在此任务中可能并非最优选择。
• 声明检索的主提交结果达到 MAP@5 0.6950，优于多个其他团队，包括使用多模态和多步微调策略的团队。
• 本研究证明，现成的多语言句子-Transformer 模型在声明检索的语义文本相似度任务中极为有效，甚至超越了微调后的单语 BERT 模型。