[论文解读] Heuristic Feature Selection for Clickbait Detection

Matti Wiegmann, Michael Völske+3 more|arXiv (Cornell University)|Feb 4, 2018

Sentiment Analysis and Opinion Mining参考文献 3被引用 3

一句话总结

本文提出一种启发式包装方法——留多法特征选择，用于在回归任务中优化点击诱饵检测的特征子集。通过迭代移除特征组并利用均方误差衡量性能影响，该方法使基线模型性能提升20%，尽管使用的是传统分类器而非深度学习，仍获得2017年点击诱饵挑战赛第二名。

ABSTRACT

We study feature selection as a means to optimize the baseline clickbait detector employed at the Clickbait Challenge 2017. The challenge's task is to score the "clickbaitiness" of a given Twitter tweet on a scale from 0 (no clickbait) to 1 (strong clickbait). Unlike most other approaches submitted to the challenge, the baseline approach is based on manual feature engineering and does not compete out of the box with many of the deep learning-based approaches. We show that scaling up feature selection efforts to heuristically identify better-performing feature subsets catapults the performance of the baseline classifier to second rank overall, beating 12 other competing approaches and improving over the baseline performance by 20%. This demonstrates that traditional classification approaches can still keep up with deep learning on this task.

研究动机与目标

• 提升基线点击诱饵回归模型的性能，该模型在与深度学习方法对比时表现欠佳。
• 解决社交媒体数据中稀疏特征的问题，传统过滤方法和嵌入方法在此类场景下失效。
• 开发一种适用于高维、稀疏点击诱饵特征空间的启发式包装方法。
• 识别高影响力特征及潜在的特征交互作用，为未来人工特征设计提供依据。
• 证明通过智能特征选择，传统机器学习模型在点击诱饵检测任务中仍可与深度学习方法保持竞争力。

提出的方法

• 该方法采用留多法策略，迭代移除特征组，并通过均方误差（MSE）衡量性能变化。
• 使用岭回归作为基础模型，MSE作为特征子集选择的适应度函数。
• 特征类别包括字符n-gram、词n-gram、词表特征以及人工构造特征（如词数和标点符号频率）。
• 该方法系统性地根据特征对预测误差的影响对特征进行排序，识别出具有区分性、混淆性和冗余性的特征。
• 对高影响力特征进行分析，以建议新的工程化特征，例如基于其区分能力的以-ly或-ing结尾的词数。
• 该方法应用于2017年点击诱饵挑战赛数据集，包含19,538条用于训练的标注推文和18,979条用于测试的推文。

实验结果

研究问题

• RQ1 在稀疏的、基于回归的点击诱饵检测任务中，启发式包装特征选择能否优于标准过滤方法（如χ²）？
• RQ2 哪些特征类别对预测点击诱饵程度分数的贡献最为显著？
• RQ3 通过迭代移除特征组，能否识别出特征交互作用和冗余特征？
• RQ4 与原始特征集相比，人工构造特征能在多大程度上提升模型性能？
• RQ5 通过智能特征选择，传统机器学习模型在点击诱饵检测中能否实现与深度学习方法相媲美的结果？

主要发现

• 留多法特征选择方法使基线模型在均方误差方面提升了20%的性能，在2017年点击诱饵挑战赛中获得第二名。
• 人工构造特征中，'一天中的时间段'和'句点数量'影响最大，留多法分析得分分别为4.74和7.18。
• '以-ly或-ing结尾的词数'被识别为新工程化特征的有前途候选，因其单个n-gram具有高区分能力。
• 字符级特征如'@'和'.'具有高度区分性，得分分别为0.73和0.53，'!'的影响力也极高，得分为0.82。
• 词表特征'简单词'具有显著正向影响（得分：2.60），表明词汇简单性是点击诱饵的关键指标。
• 该方法成功识别出某些特征（如字符n-gram中的'@'）具有高度区分性，即使对应的词级特征（'提及次数'）并无显著影响。