[论文解读] What we really want to find by Sentiment Analysis: The Relationship between Computational Models and Psychological State

Hwiyeol Jo, Soo-Min Kim+1 more|arXiv (Cornell University)|Apr 11, 2017

Sentiment Analysis and Opinion Mining参考文献 26被引用 4

一句话总结

本研究通过使用在电影评论上训练的深度学习模型（CNN、LSTM、GRU）评估参与者对书籍的摘要，探究计算情感分析模型与人类心理状态之间的对齐程度。尽管CNN在情感任务上表现最佳，但GRU与参与者实际心理状态的相关性更强，表明基于GRU的模型可能更能反映文本中的主观情感体验。

ABSTRACT

As the first step to model emotional state of a person, we build sentiment analysis models with existing deep neural network algorithms and compare the models with psychological measurements to enlighten the relationship. In the experiments, we first examined psychological state of 64 participants and asked them to summarize the story of a book, Chronicle of a Death Foretold (Marquez, 1981). Secondly, we trained models using crawled 365,802 movie review data; then we evaluated participants' summaries using the pretrained model as a concept of transfer learning. With the background that emotion affects on memories, we investigated the relationship between the evaluation score of the summaries from computational models and the examined psychological measurements. The result shows that although CNN performed the best among other deep neural network algorithms (LSTM, GRU), its results are not related to the psychological state. Rather, GRU shows more explainable results depending on the psychological state. The contribution of this paper can be summarized as follows: (1) we enlighten the relationship between computational models and psychological measurements. (2) we suggest this framework as objective methods to evaluate the emotion; the real sentiment analysis of a person.

研究动机与目标

• 探讨计算情感模型与文本生成中人类心理状态之间的关系。
• 评估在大规模数据上训练的情感分析模型是否反映真实的感情状态，而非仅仅是语言模式。
• 评估利用情感模型进行迁移学习作为个人叙述中情感内容客观度量的有效性。
• 识别哪种深度学习架构（CNN、LSTM、GRU）最能捕捉人类生成摘要中的心理状态。
• 挑战高性能情感模型必然反映真实情感表达的假设。

提出的方法

• 使用标准化评估工具从64名参与者收集心理状态测量数据。
• 收集参与者对《死亡预兆纪事》情节的叙事摘要。
• 在365,802条电影评论上训练三种深度神经网络模型——CNN、LSTM和GRU，以执行情感分析。
• 通过迁移学习将预训练模型应用于评估参与者摘要的情感。
• 将模型生成的情感得分与参与者的心理测量数据进行相关性分析。
• 使用统计分析比较不同架构下模型性能及其与心理状态的对齐程度。

实验结果

研究问题

• RQ1 在大规模数据上训练的计算情感模型在多大程度上反映了个体的实际心理状态？
• RQ2 在CNN、LSTM、GRU三种深度学习架构中，哪一种模型输出与心理状态的相关性最强？
• RQ3 在标准情感基准测试中表现优异（如电影评论上的准确率）是否能保证与主观情感状态有更好的对齐？
• RQ4 能否将情感模型的迁移学习结果作为衡量个人叙述中情感内容的客观代理？
• RQ5 情感状态如何影响个体在叙事摘要中表达情感的方式，且模型能否检测到这种影响？

主要发现

• 在测试的三种架构中，CNN在标准情感分类任务上表现最佳。
• 尽管在基准数据上表现优异，CNN的情感得分与参与者心理状态之间无显著相关性。
• GRU模型与心理测量数据表现出更可解释且更有意义的关系，表明其与主观情感状态的对齐性更好。
• LSTM模型表现居中，但其与心理状态的相关性弱于GRU。
• 研究结果表明，模型在标准数据集上的表现并不一定反映其捕捉个人叙述中人类情感状态的能力。
• 本研究建议，基于GRU的模型可能更适合需要情感真实性的应用场景，如心理健康监测或共情型人工智能。