[论文解读] Classifying YouTube Comments Based on Sentiment and Type of Sentence

Rhitabrat Pokharel, Dixit Bhatta|arXiv (Cornell University)|Oct 31, 2021

Sentiment Analysis and Opinion Mining参考文献 20被引用 6

一句话总结

本文提出了一种混合方法，结合统计特征提取（文档频率和TF-IDF）与监督学习模型，将YouTube评论分类为六种类别：正面、负面、疑问句、祈使句、更正性及其它。表现最佳的模型为使用TF-IDF的逻辑回归，F1得分达到0.86，交叉验证得分为0.84，展示了对非正式、嘈杂的YouTube评论进行有效分类的能力，从而提升内容创作者的参与度。

ABSTRACT

As a YouTube channel grows, each video can potentially collect enormous amounts of comments that provide direct feedback from the viewers. These comments are a major means of understanding viewer expectations and improving channel engagement. However, the comments only represent a general collection of user opinions about the channel and the content. Many comments are poorly constructed, trivial, and have improper spellings and grammatical errors. As a result, it is a tedious job to identify the comments that best interest the content creators. In this paper, we extract and classify the raw comments into different categories based on both sentiment and sentence types that will help YouTubers find relevant comments for growing their viewership. Existing studies have focused either on sentiment analysis (positive and negative) or classification of sub-types within the same sentence types (e.g., types of questions) on a text corpus. These have limited application on non-traditional text corpus like YouTube comments. We address this challenge of text extraction and classification from YouTube comments using well-known statistical measures and machine learning models. We evaluate each combination of statistical measure and the machine learning model using cross validation and $F_1$ scores. The results show that our approach that incorporates conventional methods performs well on the classification task, validating its potential in assisting content creators increase viewer engagement on their channel.

研究动机与目标

• 解决手动筛选大量嘈杂、非正式YouTube评论以获取可操作反馈的挑战。
• 通过自动将评论分类为情感（正面/负面）和句型（疑问句、祈使句等）来提升内容创作者的参与度。
• 克服先前研究仅孤立关注情感或句型的局限性，特别是在非传统文本（如YouTube评论）上的应用。
• 评估并比较多种机器学习模型与特征提取技术在低资源、嘈杂评论环境下的鲁棒性分类表现。

提出的方法

• 使用拼写纠正和标准化对YouTube评论数据进行预处理，以减少拼写错误和非正式语言带来的噪声。
• 应用两种特征提取方法：文档频率（df）和TF-IDF，以表示文本特征用于分类。
• 在预处理后的数据上训练五种监督学习模型：逻辑回归、线性SVC、多项式朴素贝叶斯、随机森林和决策树。
• 使用5折交叉验证评估模型性能，并以F1得分作为主要指标评估分类准确率。
• 通过网格搜索和超参数优化对模型进行微调，以最大化在YouTube评论数据集上的性能表现。
• 分析误分类样本，识别根本原因，如句型结构模糊和罕见情感关键词。

实验结果

研究问题

• RQ1 统计特征提取与监督学习的结合是否能有效将YouTube评论分类为情感与句型类别？
• RQ2 不同机器学习模型在分类非正式、嘈杂的YouTube评论时，相较于传统语料库，表现如何？
• RQ3 特征选择方法（df与TF-IDF）对多类别评论分类中模型性能有何影响？
• RQ4 为何某些类别（如其它、祈使句和负面）的分类准确率较低，尽管整体模型性能较高？
• RQ5 拼写纠正与数据预处理在多大程度上提升了分类流程的鲁棒性？

主要发现

• 使用TF-IDF的逻辑回归模型取得最高F1得分0.86和交叉验证得分0.84，优于其他模型。
• 决策树分类器表现最弱（F1得分：0.81），原因在于高维特征空间以及在稀疏数据上泛化能力差。
• 其它类别性能下降，是由于该标签下句型类型高度多样化且存在歧义。
• 祈使句和负面评论的分类不准确，源于重叠的语言线索，例如同一句子中同时出现'please'（祈使句）和'why'（疑问句）。
• 随着训练数据量增加，模型准确率提升，df与TF-IDF特征方法的性能曲线均显示此趋势。
• 拼写纠正对性能影响可忽略（性能变化≤0.01%），表明模型对YouTube评论中的轻微词汇错误具有鲁棒性。