[论文解读] A Two-Level Classification Approach for Detecting Clickbait Posts using Text-Based Features

Olga Papadopoulou, Markos Zampoglou+2 more|arXiv (Cornell University)|Oct 23, 2017

Misinformation and Its Impacts参考文献 8被引用 14

一句话总结

本文提出了一种两级基于文本的分类系统，用于检测点击诱饵帖子，该系统结合了65个一级分类器，并通过二级逻辑回归进行集成。尽管在内部验证中取得了0.63的F1分数，但该模型在最终TIRA评估中的表现不佳，F1分数仅为0.43，凸显了泛化能力不足以及对训练数据的过拟合问题。

ABSTRACT

The emergence of social media as news sources has led to the rise of clickbait posts attempting to attract users to click on article links without informing them on the actual article content. This paper presents our efforts to create a clickbait detector inspired by fake news detection algorithms, and our submission to the Clickbait Challenge 2017. The detector is based almost exclusively on text-based features taken from previous work on clickbait detection, our own work on fake post detection, and features we designed specifically for the challenge. We use a two-level classification approach, combining the outputs of 65 first-level classifiers in a second-level feature vector. We present our exploratory results with individual features and their combinations, taken from the post text and the target article title, as well as feature selection. While our own blind tests with the dataset led to an F-score of 0.63, our final evaluation in the Challenge only achieved an F-score of 0.43. We explore the possible causes of this, and lay out potential future steps to achieve more successful results.

研究动机与目标

• 开发一种基于文本特征的自动化系统，用于检测社交媒体中的点击诱饵帖子。
• 将虚假新闻检测中的方法适配至点击诱饵检测任务。
• 评估一种结合多种文本特征的两级分类架构的有效性。
• 识别内部验证与最终挑战评估之间性能差异的原因。
• 探索超越基础文本特征的特征工程策略，以提升检测效果。

提出的方法

• 该系统使用65个一级逻辑回归分类器，基于从帖子文本和目标文章标题中提取的多样化文本特征进行训练。
• 特征包括词袋模型、n-gram、词汇、句法和语义指标，以及为本挑战定制的特征。
• 一级分类器的输出被拼接为单一特征向量，输入至二级逻辑回归分类器。
• 在训练集A上对所有一级模型应用10折交叉验证，以生成留出预测结果。
• 最终模型在保留的测试集（Set C）及TIRA评估平台上进行评估。
• 应用特征选择以降低维度并提升模型性能。

实验结果

研究问题

• RQ1 结合多种基于文本的特征的两级分类方法能否有效检测点击诱饵帖子？
• RQ2 各个文本特征及其组合如何影响检测性能？
• RQ3 为何模型在从内部验证到TIRA最终评估时性能显著下降？
• RQ4 仅基于帖子文本的特征在多大程度上优于结合帖子和标题文本的特征？
• RQ5 帖子与标题之间的语义和语法相似性在点击诱饵检测中起到何种作用？

主要发现

• 该模型在内部验证中通过组合65个一级分类器与二级元分类器，取得了0.63的F1分数。
• 表现最佳的单一组件是仅基于帖子文本的特征集，其F1分数达到0.59。
• 在TIRA平台上的最终评估中，F1分数显著降低至0.43，且误报率较高。
• 验证与最终评估之间的差异表明，可能存在过拟合或训练集与测试集之间的数据分布偏移。
• 衡量帖子与标题文本之间相似性的特征——尤其是语法相似性——在所有特征类型中表现最佳。
• 引入视觉或媒体特征并未提升性能，表明在此设置下其效用有限。