[论文解读] Actionable and Political Text Classification using Word Embeddings and LSTM

Adithya Rao, Nemanja Spasojevic|arXiv (Cornell University)|Jul 8, 2016

Sentiment Analysis and Opinion Mining参考文献 7被引用 41

一句话总结

本文提出一种基于词嵌入和长短期记忆（LSTM）网络的深度学习方法，用于超越情感分析的上下文文本分类。该方法在30多种语言上的可操作性分类任务中达到85%的准确率，在民主与共和党政治倾向分类中达到87.57%的准确率，优于传统方法，展示了在客户服务和政治洞察应用中上下文特定分类的价值。

ABSTRACT

In this work, we apply word embeddings and neural networks with Long Short-Term Memory (LSTM) to text classification problems, where the classification criteria are decided by the context of the application. We examine two applications in particular. The first is that of Actionability, where we build models to classify social media messages from customers of service providers as Actionable or Non-Actionable. We build models for over 30 different languages for actionability, and most of the models achieve accuracy around 85%, with some reaching over 90% accuracy. We also show that using LSTM neural networks with word embeddings vastly outperform traditional techniques. Second, we explore classification of messages with respect to political leaning, where social media messages are classified as Democratic or Republican. The model is able to classify messages with a high accuracy of 87.57%. As part of our experiments, we vary different hyperparameters of the neural networks, and report the effect of such variation on the accuracy. These actionability models have been deployed to production and help company agents provide customer support by prioritizing which messages to respond to. The model for political leaning has been opened and made available for wider use.

研究动机与目标

• 开发一种上下文文本分类系统，超越情感分析，解决客户服务和政治话语中的应用特定标准。
• 通过将社交媒体消息分类为可操作或不可操作，提升客户服务效率，实现响应优先级排序。
• 通过将消息分类为民主或共和党倾向，实现更深层次的政治洞察，捕捉政治倾向而独立于情感极性。
• 评估超参数对可操作性和政治倾向分类任务中模型性能的影响。
• 部署并开源一个高精度的政治倾向分类模型，以供更广泛的研究和应用使用。

提出的方法

• 使用预训练的词嵌入（如word2vec或GloVe）将文本转换为密集语义向量，作为输入表示。
• 采用双向LSTM网络建模社交媒体文本中的序列依赖关系，捕捉长距离上下文模式。
• 训练一个具有最终Softmax层的多层神经网络，实现二分类：可操作 vs. 不可操作，或民主 vs. 共和党。
• 使用Adam优化器和Sigmoid激活函数优化模型性能，并对嵌入层和LSTM层的单元数进行超参数调优。
• 为每种语言单独训练可操作性分类模型，使用20,000个词的词汇表和330,000个训练样本。
• 通过GitHub公开已训练的政治倾向分类模型及相关数据，以确保可复现性并支持更广泛应用。

实验结果

研究问题

• RQ1 基于LSTM的模型结合词嵌入是否能在多种语言的可操作性分类任务中超越传统机器学习技术？
• RQ2 超参数变化（如LSTM单元数、嵌入维度）如何影响可操作性和政治倾向分类任务中的分类准确率？
• RQ3 情感极性本身在多大程度上无法捕捉客户服务和政治话语中的有意义区分，从而需要上下文感知的分类？
• RQ4 单一模型架构是否能有效泛化到多种语言的可操作性分类任务中，同时保持高准确率？
• RQ5 当情感极性不可靠时，政治倾向分类器在区分民主与共和党观点方面的表现如何？

主要发现

• 基于LSTM的模型在多种语言的可操作性分类任务中准确率超过90%，多数模型达到约85%的准确率。
• 使用128个嵌入单元和32个LSTM单元、Sigmoid激活函数及Adam优化器的模型，在政治倾向分类任务中达到87.57%的准确率。
• 结合词嵌入的LSTM网络在可操作性和政治分类任务中显著优于传统机器学习技术。
• 该模型在30多种语言的可操作性分类任务中表现出稳健性能，表明其在语言多样性背景下具有强大的泛化能力。
• 政治模型的预测分数反映了倾向强度——例如，0.94代表强烈支持共和党的信息——实现了超越二元标签的细致解读。
• 开源的政治倾向分类模型及相关数据可公开获取，支持在政治文本分析领域的再利用和进一步研究。