[论文解读] Contradiction Detection for Rumorous Claims

Piroska Lendvai, Uwe D. Reichel|arXiv (Cornell University)|Nov 8, 2016

Misinformation and Its Impacts参考文献 23被引用 9

一句话总结

该论文提出了一种统一的三元文本蕴涵（RTE）框架，用于检测Twitter上谣言中的矛盾，能够区分独立推文与回复线程。通过使用简单的字符串级和词性（POS）级相似性特征，该方法通过隐式建模主张目标和对话结构，在稀疏且偏斜的数据上实现了最先进性能，其中随机森林优于最近邻分类器。

ABSTRACT

The utilization of social media material in journalistic workflows is increasing, demanding automated methods for the identification of mis- and disinformation. Since textual contradiction across social media posts can be a signal of rumorousness, we seek to model how claims in Twitter posts are being textually contradicted. We identify two different contexts in which contradiction emerges: its broader form can be observed across independently posted tweets and its more specific form in threaded conversations. We define how the two scenarios differ in terms of central elements of argumentation: claims and conversation structure. We design and evaluate models for the two scenarios uniformly as 3-way Recognizing Textual Entailment tasks in order to represent claims and conversation structure implicitly in a generic inference model, while previous studies used explicit or no representation of these properties. To address noisy text, our classifiers use simple similarity features derived from the string and part-of-speech level. Corpus statistics reveal distribution differences for these features in contradictory as opposed to non-contradictory tweet relations, and the classifiers yield state of the art performance.

研究动机与目标

• 通过识别社交媒体帖子中的文本矛盾来改进谣言可信度检测。
• 在两种不同情境下建模矛盾：独立推文和基于回复的线程，每种情境具有不同的结构和语义特性。
• 开发一种统一的、通用的推理框架，使用RTE隐式表示主张和对话结构，而无需显式论证特征。
• 通过仅使用表层文本相似性，避免复杂语义解析，来应对嘈杂且简短的用户生成内容。
• 在事件留出和类别平衡设置下评估性能，确保在多样化谣言场景下的鲁棒性。

提出的方法

• 作者将矛盾检测建模为三元RTE任务：蕴含（ENT）、矛盾（CON）和中性（UNK）之间的推文对关系。
• 他们使用字符串级和词性（POS）级相似性特征，捕捉主张推文与回应推文之间的词汇和句法重叠。
• 采用局部对齐以在词序变化下保持相似性，提升对重述或重构内容的鲁棒性。
• 该方法区分两种场景：iPosts（独立帖子）和Threads（基于回复的对话），每种场景具有不同的主张目标可见性和极性约束。
• 使用真实Twitter数据进行留一事件交叉验证，训练并评估监督分类器——随机森林和最近邻分类器。
• 通过无放回下采样解决类别不平衡问题，确保三类RTE任务的性能均衡。

实验结果

研究问题

• RQ1 如何在独立和基于线程的社交媒体帖子中统一建模谣言中的矛盾检测？
• RQ2 在矛盾检测中，简单表层相似性特征（字符串和POS）在多大程度上优于语义或句法方法？
• RQ3 将主张目标和对话结构作为隐式上下文包含进来，如何提升基于RTE的矛盾检测性能？
• RQ4 在嘈杂、短文本中，检测矛盾与非矛盾之间的性能差距有多大？
• RQ5 在数据稀疏和类别不平衡条件下，不同分类器（随机森林与最近邻分类器）的表现如何？

主要发现

• 在Threads数据集上，随机森林分类器实现了最先进性能，加权F1得分为0.43，优于最近邻分类器，因其在处理稀疏、高维特征向量方面更具优势。
• 在iPosts数据集上，最近邻分类器实现了0.47的加权F1，得益于在更大、分布更均衡的数据中更优的类别中心表示。
• 所有设置下，CON类（矛盾）的性能最低，表明矛盾检测仍是RTE中最具挑战性的类别。
• ENT和UNK类在特征空间中更易区分且分离度更高，而CON类与两者均有显著重叠，导致分类难度更高。
• 局部对齐在重述或重构内容中提升了相似性保持能力，体现在特征分布图中laProp箱线图高度更高。
• 对未见事件的泛化能力稳定，留出事件评估中性能一致，证实了在真实谣言检测中的鲁棒性。