[论文解读] Overview of the CLEF-2019 Checkthat! LAB: Automatic identification and verification of claims. Task 2: Evidence and factuality

Maram Hasanain, Reem Suwaileh+3 more|Qatar University QSpace (Qatar University)|Jan 1, 2019

Data Quality and Management被引用 17

一句话总结

本文介绍了 CLEF-2019 CheckThat! 实验室的第二版，引入了两个多语言任务：针对英文声明的核查价值估计，以及针对阿拉伯文声明的基于证据的事实核查。该研究采用神经网络和监督分类器评估系统，在声明优先级排序和事实性预测方面取得了最先进成果，并发布了数据集和评估工具，以推动自动化事实核查研究的发展。

ABSTRACT

We present an overview of the second edition of the CheckThat! Lab at CLEF 2019. The lab featured two tasks in two different languages: English and Arabic. Task 1 (English) challenged the participating systems to predict which claims in a political debate or speech should be prioritized for fact-checking. Task 2 (Arabic) asked to (A) rank a given set of Web pages with respect to a check-worthy claim based on their usefulness for fact-checking that claim, (B) classify these same Web pages according to their degree of usefulness for fact-checking the target claim, (C) identify useful passages from these pages, and (D) use the useful pages to predict the claim's factuality. CheckThat! provided a full evaluation framework, consisting of data in English (derived from fact-checking sources) and Arabic (gathered and annotated from scratch) and evaluation based on mean average precision (MAP) and normalized discounted cumulative gain (nDCG) for ranking, and F1 for classification. A total of 47 teams registered to participate in this lab, and fourteen of them actually submitted runs (compared to nine last year). The evaluation results show that the most successful approaches to Task 1 used various neural networks and logistic regression. As for Task 2, learning-to-rank was used by the highest scoring runs for subtask A, while different classifiers were used in the other subtasks. We release to the research community all datasets from the lab as well as the evaluation scripts, which should enable further research in the important tasks of check-worthiness estimation and automatic claim verification.

研究动机与目标

• 开发并评估自动化系统，以识别政治话语中哪些声明最需要进行事实核查（即核查价值估计）。
• 通过网络资源实现声明的自动证据检索和事实性预测，特别是在阿拉伯语语境下。
• 提供大规模、多语言的基准数据集，并附带标注数据，用于训练和评估事实核查系统。
• 通过整合多个来源的标注数据，减少声明选择中的偏差，提升数据集的多样性。
• 通过标准化评估和共享资源，支持可信的、基于证据的虚假新闻检测系统的发展。

提出的方法

• CheckThat! 实验室引入了两个主要任务：任务1（英文）针对使用转录的政治辩论和演讲进行声明优先级排序。
• 任务2（阿拉伯文）包含四个子任务：按有用性对网页进行排序、分类其相关性、提取有用段落，以及预测声明的真实性。
• 任务1的数据集在 CT-CWC-18 数据集基础上扩展，新增了来自新闻发布会、演讲和辩论的事实核查声明。
• 对于任务2，人工整理了新的阿拉伯文数据集，包含声明、检索到的网页，以及所有四个子任务的多标注者判断。
• 评估采用 MAP 和 nDCG 评估排序任务，F1 分数用于分类和事实性预测任务。
• 表现最佳的系统使用了神经网络、逻辑回归以及集成模型（如梯度提升和随机森林），部分团队还利用了外部数据。

Figure 1 : Information verification pipeline with the two tasks in the CheckThat! lab: check-worthiness estimation and factuality verification.

实验结果

研究问题

• RQ1 在政治话语中，哪些类型的机器学习模型最有效于识别具有核查价值的声明？
• RQ2 系统在按对给定声明的核查有用性对网页进行排序方面表现如何？
• RQ3 在多大程度上，包含有用网页能提升声明真实性预测的准确性？
• RQ4 监督分类器能否有效利用来自网络的证据来预测声明的事实性？
• RQ5 多源标注的使用在多大程度上影响了事实核查系统中声明选择的可靠性与偏差？

主要发现

• 任务1中得分最高的系统使用了神经网络和逻辑回归，在声明优先级排序方面优于基线模型。
• 在任务2子任务A（排序）中，学习排序模型表现最佳，证明了其在证据检索中的有效性。
• 在子任务D（事实性预测）中，第二轮的最高F1得分为0.62（已知网页有用性），显著优于0.34的基线F1得分。
• 在文本蕴涵组件的四次运行中，外部数据提升了性能，表明其在理解证据方面的价值。
• 由于子任务D在第一轮的参与度较低，难以对有用网页对真实性预测的影响得出明确结论。
• 该实验室发布了两个全面的数据集——CT19-T1（英文）和CT19-T2（阿拉伯文），以及评估脚本，为未来自动化事实核查研究提供了支持。

Figure 3 : A zoom into the four subtasks in Task 2.