[论文解读] Design and Analysis of a Text Mining Experiment

Matt Taddy|arXiv (Cornell University)|Jun 17, 2012

Text and Document Classification Technologies参考文献 17被引用 1

一句话总结

本文提出一种D-最优贪心采样算法，以提高对美国政客推文的情感分析效率，采用主题-因子分解与含变量交互的多项式逆回归。该方法应用于2012年2月的210万条推文，提升了通用情感与特定主题情感预测的准确性，同时最小化人工标注成本。

ABSTRACT

This article presents a short case study in text analysis: the scoring of Twitter posts for positive, negative, or neutral sentiment directed towards particular US politicians. The study requires selection of a sub-sample of representative posts for sentiment scoring, a common and costly aspect of sentiment mining. As a general contribution, our application is preceded by a proposed algorithm for maximizing sampling efficiency. In particular, we outline and illustrate greedy selection of documents to build designs that are D-optimal in a topic-factor decomposition of the original text. The strategy is applied to our motivating dataset of political posts, and we outline a new technique for predicting both generic and subject-specific document sentiment through use of variable interactions in multinomial inverse regression. Results are presented for analysis of 2.1 million Twitter posts around February 2012.

研究动机与目标

• 通过优化采样效率，降低文本挖掘中人工情感标注的高昂成本。
• 开发一种贪心算法，基于主题-因子分解中的D-最优性，选择具有代表性的推文用于情感评分。
• 通过多项式逆回归中的变量交互，提升通用情感与特定政客情感预测的准确性。
• 在2012年2月的210万条政治类推文大规模数据集上，验证该方法的有效性。
• 提供一种可扩展、数据驱动的情感分析方法，适用于政治社交媒体，且人工标注量最小。

提出的方法

• 采用贪心选择算法，通过在主题-因子分解中最大化信息矩阵的行列式，从文本数据中构建D-最优实验设计。
• 将文本数据分解为潜在主题与因子，以表征潜在的情感相关结构。
• 应用多项式逆回归模型，引入变量交互，以捕捉主题与情感标签之间的复杂关系。
• 该方法优先选择能实现每条标注实例信息增益最大化的文档，从而减少所需人工标注样本的数量。
• 算法动态选择能提升模型在通用与特定主题情感预测中精度的推文。
• 该方法在代表性与信息增益之间取得平衡，确保以最小标注成本获得高质量训练数据。

实验结果

研究问题

• RQ1 在大规模推文数据集中，如何在最小化人工标注的前提下最大化采样效率？
• RQ2 主题-因子分解在多大程度上提升了采样文档在情感评分中的代表性？
• RQ3 多项式逆回归中的变量交互是否能提升通用情感与特定政客情感预测的准确性？
• RQ4 D-最优贪心采样策略在210万条政治类推文上，对降低标注成本并保持模型性能方面有多有效？
• RQ5 引入特定主题因子对政治类推文话语中情感预测准确性有何影响？

主要发现

• D-最优贪心采样策略显著提升了采样效率，在不牺牲模型性能的前提下减少了所需标注推文的数量。
• 主题-因子分解有效捕捉了潜在的情感相关结构，实现了对多样化情感表达的更具代表性的采样。
• 在多项式逆回归中引入变量交互，显著提升了通用情感与特定政客情感类别预测的准确性。
• 该方法在2012年2月的210万条推文数据集上实现了稳健的情感分类，展现出良好的可扩展性与实际应用价值。
• 所提方法在保持高预测准确性的同时显著降低了人工标注成本，使大规模政治话语情感分析成为可能。
• 结果表明，经过优化的采样结合结构化建模，可实现对大规模文本集合中更可靠的情感推断。