[论文解读] Detecting Satire in the News with Machine Learning

Andreas Stöckl|arXiv (Cornell University)|Oct 1, 2018

Humor Studies and Applications参考文献 11被引用 3

一句话总结

本文提出一种基于机器学习的方法，使用逻辑回归和线性SVM对约60,000篇来自主流媒体和讽刺媒体的德语文本语料进行讽刺新闻检测。当在已知出版商数据上训练时，模型在随机测试集上达到98.7%的精确率和95.2%的召回率，性能表现优异；但当在完全未见过的媒体来源上测试时，准确率降至88.2%，F1分数降至76.3%，表明模型严重依赖于出版商特定的特征。

ABSTRACT

We built models with Logistic Regression and linear Support Vector Machines on a large dataset consisting of regular news articles and news from satirical websites, and showed that such linear classifiers on a corpus with about 60,000 articles can perform with a precision of 98.7% and a recall of 95.2% on a random test set of the news. On the other hand, when testing the classifier on "publication sources" which are completely unknown during training, only an accuracy of 88.2% and an F1-score of 76.3% are achieved. As another result, we showed that the same algorithm can distinguish between news written by the news agency itself and paid articles from customers. Here the results had an accuracy of 99%.

研究动机与目标

• 开发一种仅基于文本内容的机器学习模型，以区分讽刺新闻与事实性新闻。
• 评估模型是通过语言模式还是通过学习出版商特定特征来检测讽刺内容。
• 评估模型在测试数据中包含训练阶段未见出版商时的泛化性能。
• 探索模型区分同一新闻机构的编辑内容与付费推广内容的能力。
• 确定在无需手工设计语言特征的情况下，大规模训练语料对分类器性能的影响。

提出的方法

• 在来自主流媒体和讽刺媒体的60,000篇德语文本新闻语料上训练逻辑回归和线性支持向量机（SVM）模型。
• 使用小写形式的单字和双字词特征，过滤掉在80%以上文档中出现的术语，并仅保留出现次数超过20次的术语。
• 对逻辑回归采用L2正则化，C=1,000；对SVM采用C=100，避免使用非线性核函数以防止过拟合。
• 对完整语料进行80/20的训练-测试划分，并对未见出版商进行独立评估。
• 使用TF-IDF向量化表示，不采用传统停用词过滤，而是移除高频术语。
• 在域内和域外测试集上，使用精确率、召回率、F1分数和混淆矩阵评估模型性能。

实验结果

研究问题

• RQ1 在大规模德语文本语料上训练的线性分类器，能否仅通过文本特征实现对讽刺内容的高精度检测？
• RQ2 模型在多大程度上依赖于出版商特定特征而非语言线索进行讽刺内容检测？
• RQ3 当在训练数据中未包含的媒体来源新闻上测试时，模型性能如何下降？
• RQ4 同一模型能否区分同一新闻机构的编辑内容与付费推广内容？
• RQ5 在无需复杂特征工程的情况下，增加训练数据量是否能显著提升模型性能？

主要发现

• 在包含11,892篇常规文章和882篇讽刺文章的随机测试集中，模型达到99.6%准确率、98.7%精确率、95.2%召回率和96.9%的F1分数。
• 当在完全未见过的出版商（排除‘Kleine Zeitung’（常规）和‘Die Tagespresse’（讽刺））上测试时，性能下降至88.2%准确率和76.3%的F1分数。
• 模型在对六个不同出版商的来源分类中达到98.4%准确率，表明其对出版商特定特征存在强烈依赖。
• 模型对‘Pressetext Austria’的付费推广文章与编辑内容的分类准确率达99%。
• 非线性SVM核函数（RBF和Sigmoid）因过拟合而失败，而使用高C值（100–1,000）的线性模型表现最优。
• 当训练数据量超过某一阈值后，模型性能的F1分数趋于稳定在约85%，表明收益递减。