[论文解读] Identifying Clickbait Posts on Social Media with an Ensemble of Linear Models

А. В. Григорьев|arXiv (Cornell University)|Oct 1, 2017

Misinformation and Its Impacts参考文献 7被引用 10

一句话总结

本文提出了一种基于线性支持向量回归（SVR）模型的集成方法，用于检测社交媒体中的点击诱饵内容，利用推文内容、目标标题、描述和元数据等文本特征。该方法在Clickbait Challenge 2017中取得了0.0362的测试均方误差（MSE），排名第三，特征重要性分析显示，'shocker'和'wat'等语言线索是点击诱饵行为的强指标。

ABSTRACT

The purpose of a clickbait is to make a link so appealing that people click on it. However, the content of such articles is often not related to the title, shows poor quality, and at the end leaves the reader unsatisfied. To help the readers, the organizers of the clickbait challenge (http://www.clickbait-challenge.org/) asked the participants to build a machine learning model for scoring articles with respect to their "clickbaitness". In this paper we propose to solve the clickbait problem with an ensemble of Linear SVM models, and our approach was tested successfully in the challenge: it showed great performance of 0.036 MSE and ranked 3rd among all the solutions to the contest.

研究动机与目标

• 开发一种机器学习模型，以准确预测社交媒体帖子的'点击诱饵程度'得分。
• 解决误导性或低质量内容利用好奇心驱动流量的问题。
• 通过识别并可能过滤推文等平台上的点击诱饵内容，改善用户阅读体验。
• 在公开挑战中通过可扩展、可解释的线性模型集成实现高性能表现。

提出的方法

• 在多种文本特征（包括postText、targetTitle、targetDescription、targetKeywords、targetParagraphs和targetCaptions）上训练独立的LinearSVR模型。
• 使用5折交叉验证评估模型在平均点击诱饵程度预测和标准差估计方面的性能。
• 在外部Facebook数据上应用二分类SVM分类器，生成集成模型的附加特征。
• 使用ExtraTreeRegressor作为元学习器，通过堆叠方法结合各模型输出，以提升泛化能力。
• 基于验证性能选择最佳性能的集成配置，优先考虑简洁性和可复现性。
• 利用ExtraTree模型的特征重要性分析，解释哪些输入特征对预测贡献最大。

实验结果

研究问题

• RQ1 简单的线性模型集成能否有效预测社交媒体帖子的点击诱饵程度？
• RQ2 哪些文本特征——如帖子内容、目标标题或元数据——与点击诱饵行为的相关性最强？
• RQ3 将多个线性模型的预测结果进行组合，相比单个模型能否显著提升性能？
• RQ4 在迁移学习设置下，来自类似平台（如Facebook）的外部数据在多大程度上能增强点击诱饵检测能力？
• RQ5 哪些语言模式或词素最能指示点击诱饵行为？这些模式能否通过模型系数识别？

主要发现

• 集成模型在测试集上实现了0.0362的均方误差（MSE），在Clickbait Challenge 2017中排名第五名中的第三名。
• 仅基于postText的模型在单个模型中表现最佳，交叉验证MSE为0.039。
• 引入标准差预测提升了模型鲁棒性，最终使用均值和标准差特征的集成模型优于包含额外Facebook数据的模型。
• 特征重要性分析显示，'shocker'、'wat'和'n'（表示数字）等词素是点击诱饵行为最强的正向预测因子。
• 表现最佳的模型仅使用各LinearSVR模型的均值和标准差预测结果，表明在本任务中，简洁性与特征工程的重要性超过模型复杂度。
• 模型系数识别出'you won't believe'、'shocker'和'whoa'等语言线索为点击诱饵行为的强指标，证实其在激发好奇心方面的作用。