[论文解读] Effect of Text Processing Steps on Twitter Sentiment Classification using Word Embedding

Manar D. Samad, Nalin D. Khounviengxay+1 more|arXiv (Cornell University)|Jul 25, 2020

Sentiment Analysis and Opinion Mining被引用 4

一句话总结

本文研究了在使用在领域特定的 Twitter 数据上训练的 skip-gram 词嵌入时，文本处理步骤对 Twitter 情感分类的影响。提出了一种数据驱动的词重要性与推文向量聚合方法，表明去除停用词并平均词向量会损害性能；相反，使用词向量求和并包含表情符号和上下文感知的词重要性可将 AUC 提升至 88.4±0.4。

ABSTRACT

Processing of raw text is the crucial first step in text classification and sentiment analysis. However, text processing steps are often performed using off-the-shelf routines and pre-built word dictionaries without optimizing for domain, application, and context. This paper investigates the effect of seven text processing scenarios on a particular text domain (Twitter) and application (sentiment classification). Skip gram-based word embeddings are developed to include Twitter colloquial words, emojis, and hashtag keywords that are often removed for being unavailable in conventional literature corpora. Our experiments reveal negative effects on sentiment classification of two common text processing steps: 1) stop word removal and 2) averaging of word vectors to represent individual tweets. New effective steps for 1) including non-ASCII emoji characters, 2) measuring word importance from word embedding, 3) aggregating word vectors into a tweet embedding, and 4) developing linearly separable feature space have been proposed to optimize the sentiment classification pipeline. The best combination of text processing steps yields the highest average area under the curve (AUC) of 88.4 (+/-0.4) in classifying 14,640 tweets with three sentiment labels. Word selection from context-driven word embedding reveals that only the ten most important words in Tweets cumulatively yield over 98% of the maximum accuracy. Results demonstrate a means for data-driven selection of important words in tweet classification as opposed to using pre-built word dictionaries. The proposed tweet embedding is robust to and alleviates the need for several text processing steps.

研究动机与目标

• 评估常见文本处理步骤对使用词嵌入的 Twitter 情感分类的影响。
• 识别适用于具有非正式语言、缩写和表情符号特征的 Twitter 领域的最优文本预处理策略。
• 基于其学习到的词嵌入表示，开发一种数据驱动的方法来选择推文中重要的词。
• 提出减少对标准文本处理步骤依赖的稳健推文嵌入技术。
• 通过优化词向量聚合和特征空间构建，实现高性能的情感分类。

提出的方法

• 在大规模 Twitter 语料库上训练 skip-gram 词嵌入，以捕捉领域特定的语义，包括口语化词汇、表情符号和话题标签。
• 使用词嵌入向量的模长来衡量词的重要性，从而实现基于数据的停用词选择，而非依赖预构建的词典。
• 使用求和、平均和加权平均操作将单个词向量聚合为推文级别的表示。
• 应用 10x2 嵌套交叉验证，以确保模型性能评估的无偏性。
• 从词嵌入中构建线性可分的特征空间，以提升分类器的泛化能力。
• 在嵌入过程中直接包含非 ASCII 表情符号字符，以保留与情感相关的信号。

实验结果

研究问题

• RQ1 常见的文本处理步骤（如停用词去除和词向量平均）如何影响 Twitter 上的情感分类性能？
• RQ2 将词向量聚合为推文级别表示的情感分类，最优方法是什么？
• RQ3 能否使用在 Twitter 数据上训练的词嵌入来识别上下文相关的关键词，从而减少对固定停用词列表的依赖？
• RQ4 包含表情符号和非 ASCII 字符如何影响情感分类的准确性？
• RQ5 基于嵌入的数据驱动方法在多大程度上可以减少 Twitter 情感分析中对激进文本预处理的需求？

主要发现

• 去除停用词会显著降低情感分类性能，因为即使低重要性的词也能通过其嵌入提供预测信息。
• 使用平均方法聚合词向量进行推文表示会比求和方法导致更差的性能，其中求和方法可获得最高的 AUC（88.4±0.4）。
• 在词嵌入过程中包含非 ASCII 表情符号字符可提高分类准确性，因为表情符号携带与情感相关的信号。
• 根据嵌入模长确定的推文中最重要的十个词，累计可解释超过 98% 的最大分类准确率。
• 在 Twitter 数据上训练的词嵌入可创建线性可分的特征空间，从而实现高效且泛化能力强的情感分类。
• 所提出的方法减少了对标准文本预处理步骤的依赖，即使部分词为 OOV（未登录词）也表现出鲁棒性。