[论文解读] Making sense of electrical vehicle discussions using sentiment analysis on closely related news and user comments

Xuan Jiang, Josh Everts|arXiv (Cornell University)|Dec 23, 2021

Sentiment Analysis and Opinion Mining被引用 14

一句话总结

本研究对新闻文章和特斯拉Model 3论坛评论应用了无监督与有监督的情感分析，以比较公众对电动汽车（EV）的情感倾向。尽管在词粒度情感分析中发现了统计显著差异，但文档粒度的情感分析未显示显著差异，表明媒体话语与消费者话语之间整体情感并无明显分歧。

ABSTRACT

We used a token-wise and document-wise sentiment analysis using both unsupervised and supervised models applied to both news and user reviews dataset. And our token-wise sentiment analysis found a statistically significant difference in sentiment between the two groups (both of which were very large N), our document-wise supervised sentiment analysis found no significant difference in sentiment.

研究动机与目标

• 探究媒体新闻与消费者评论中对电动汽车（EV）的情感是否存在差异。
• 评估无监督与有监督NLP模型在捕捉不同类型文本情感方面的有效性。
• 通过主题建模与情感分析，识别电动汽车讨论中的持久主题与情感趋势。
• 评估媒体话语与消费者话语之间情感差异的实际意义与统计显著性。

提出的方法

• 采用无监督的语素粒度情感分析方法SemAxis，通过正负词向量定义的语义轴映射情感。
• 使用微调后的基于BERT的有监督模型进行文档粒度情感分类，以分类完整新闻文章与论坛评论。
• 对两个数据集均使用LDA进行主题建模，以识别主导主题及其相关情感。
• 采用序列比对（Smith-Waterman）检测并移除重复的评论与文章，降低数据冗余。
• 使用包含60篇人工标注文档的黄金标准测试集评估有监督模型性能。
• 比较新闻与消费者数据中各主题的情感分布，以评估媒体框架中的方差与偏差。

实验结果

研究问题

• RQ1 关于电动汽车的新闻文章与消费者评论之间是否存在统计显著的情感差异？
• RQ2 无监督与有监督情感分析模型在检测电动汽车相关文本情感方面表现如何比较？
• RQ3 新闻媒体与消费者论坛中讨论频率最高的主题有哪些？其情感特征有何差异？
• RQ4 消费者论坛中的情感趋势在多大程度上反映了续航焦虑与电池健康等长期关切？
• RQ5 数据质量问题（如内容重复与标注偏差）在本研究背景下如何影响情感分析结果？

主要发现

• 词粒度情感分析显示，新闻与消费者评论之间存在统计显著的情感差异，但实际效应量极小。
• 文档粒度的有监督情感分析未发现两种数据源整体情感的统计显著差异。
• 新闻媒体中各主题的情感分布范围更广，表明新闻在情感框架上更具极化或多样性。
• 续航焦虑、电池健康与制造质量等核心关切持续在特斯拉Model 3论坛讨论中占据显著位置，与2015年的发现一致。
• 新闻与论坛数据中均普遍存在重复内容，新闻中潜在的重复可能源于自动化报道或线性服务共享内容。
• 模型性能受限于仅60篇文档的黄金标准测试集，尽管已尽力确保标注质量，但可能降低了可靠性。