[论文解读] Clickbait detection using word embeddings

Vijayasaradhi Indurthi, Subba Reddy Oota|arXiv (Cornell University)|Oct 8, 2017

Misinformation and Its Impacts参考文献 7被引用 4

一句话总结

本文提出了一种简单但有效的点击诱饵检测方法，结合预训练的GloVe词嵌入与人工设计的语言学特征，用于预测推文中的点击诱饵分数。该方法对平均GloVe向量和领域特定特征采用线性回归，F1得分达到64.98%，均方误差（MSE）为0.0791，表现出中等有效性，计算成本低，特征工程需求极少。

ABSTRACT

Clickbait is a pejorative term describing web content that is aimed at generating online advertising revenue, especially at the expense of quality or accuracy, relying on sensationalist headlines or eye-catching thumbnail pictures to attract click-throughs and to encourage forwarding of the material over online social networks. We use distributed word representations of the words in the title as features to identify clickbaits in online news media. We train a machine learning model using linear regression to predict the cickbait score of a given tweet. Our methods achieve an F1-score of 64.98\% and an MSE of 0.0791. Compared to other methods, our method is simple, fast to train, does not require extensive feature engineering and yet moderately effective.

研究动机与目标

• 探究预训练词嵌入是否能在无需大量特征工程的情况下，有效预测推文中的点击诱饵分数。
• 评估基于分布式词表示和领域特定语言学特征的简单机器学习模型的性能。
• 开发一种轻量化、可解释且高效的系统，适用于低资源设备的部署。
• 解决将点击诱饵检测作为回归任务的挑战，为内容分配连续的点击诱饵分数，而非二元分类。

提出的方法

• 该模型使用预训练的300维GloVe嵌入，对每条推文中的词向量取平均，形成固定长度的表示。
• 提取七个人工设计的语言学特征：词数、停用词数、平均词长、疑问词存在性、首位数字、动名词（现在分词）和最高级形容词。
• 将特征拼接成307维向量（300个GloVe + 7个人工特征），用于每条推文。
• 训练线性回归模型以预测点击诱饵分数，未应用正则化。
• 训练数据结合了Clickbait Challenge 2017的初始训练集和验证集，确保点击诱饵与非点击诱饵类别均衡。
• 通过TIRA平台在未见的测试集上进行模型评估，使用标准回归指标，包括MSE、F1得分和R²。

实验结果

研究问题

• RQ1 仅使用预训练词嵌入并辅以最少的特征工程，能否有效预测社交媒体内容中的点击诱饵分数？
• RQ2 使用GloVe嵌入和人工设计特征的简单线性模型，在点击诱饵检测中与更复杂模型相比表现如何？
• RQ3 领域特定的语言学特征（如最高级形容词和疑问形式）在点击诱饵预测中的贡献程度如何？
• RQ4 使用平均GloVe嵌入是否足以捕捉短文本（如推文）中足够的语义和句法信息以实现点击诱饵检测？

主要发现

• 该模型在官方测试集上实现了64.98%的F1得分，表明其在区分点击诱饵与非点击诱饵内容方面表现中等。
• 均方误差（MSE）为0.0791，高于基线系统的MSE（0.0435），表明回归精度仍有提升空间。
• 该模型召回率达84.05%，表明对实际点击诱饵实例的检测能力较强，但精确率较低，仅为52.97%。
• R²得分为负值（-0.0767），表明模型解释的目标变量方差不足8%，凸显残差误差较高。
• 该模型在测试集上的准确率为78.46%，反映出中等水平的整体分类性能。
• 训练和推理运行时间仅为4分钟55秒，证实了该方法的高效性，适合实时部署。