[论文解读] Causal Explanation Analysis on Social Media

Youngseo Son, Nipun Bayas+1 more|arXiv (Cornell University)|Sep 4, 2018

Topic Modeling参考文献 23被引用 5

一句话总结

该论文提出了一种用于社交媒体中自动因果解释分析的两阶段流程，采用SVM进行因果关系检测（F1=0.791），采用分层双向LSTM进行因果解释识别（F1=0.853），整体F1达到0.868。该方法通过利用序列上下文并减少对句法解析的依赖，在社交媒体文本上优于传统模型和话语解析器，适用于情感分析和人口趋势检测等应用。

ABSTRACT

Understanding causal explanations - reasons given for happenings in one's life - has been found to be an important psychological factor linked to physical and mental health. Causal explanations are often studied through manual identification of phrases over limited samples of personal writing. Automatic identification of causal explanations in social media, while challenging in relying on contextual and sequential cues, offers a larger-scale alternative to expensive manual ratings and opens the door for new applications (e.g. studying prevailing beliefs about causes, such as climate change). Here, we explore automating causal explanation analysis, building on discourse parsing, and presenting two novel subtasks: causality detection (determining whether a causal explanation exists at all) and causal explanation identification (identifying the specific phrase that is the explanation). We achieve strong accuracies for both tasks but find different approaches best: an SVM for causality prediction (F1 = 0.791) and a hierarchy of Bidirectional LSTMs for causal explanation identification (F1 = 0.853). Finally, we explore applications of our complete pipeline (F1 = 0.868), showing demographic differences in mentions of causal explanation and that the association between a word and sentiment can change when it is used within a causal explanation.

研究动机与目标

• 开发一种自动化方法，用于检测和识别非正式社交媒体文本中的因果解释，因为这些内容此前仅通过耗时的手动标注进行研究。
• 通过最小化对句法解析的依赖并最大化利用序列上下文，解决社交媒体中隐含因果关系、句法噪声和话语标记变化带来的挑战。
• 在因果关系预测和因果解释识别任务上，评估多种模型架构（SVM、随机森林和RNN）的性能，以确定最优方法。
• 展示该流水线的实际应用，包括因果解释使用中的年龄与性别差异分析，以及通过因果上下文提升情感分析性能。
• 发布一个全新的匿名Facebook因果关系数据集及训练好的模型，以支持未来在话语感知社交媒体分析方面的研究。

提出的方法

• 因果关系检测任务采用SVM分类器，基于n-gram、词性标注和词典特征进行训练，以判断帖子是否包含任何因果解释。
• 对于因果解释识别，采用分层双向LSTM模型，在词和话语论据两个层级上处理，以捕捉序列依赖关系。
• 该流水线采用PDTB风格的方法进行话语分割，并通过最小化对句法依赖的依赖来应用话语关系解析，以提高在嘈杂社交媒体文本上的鲁棒性。
• 分层BiLSTM架构首先处理话语论据内的词语，然后将话语论据组合成序列，以预测哪个论据是因果解释。
• 通过在新发布的匿名Facebook因果关系数据集上使用F1分数评估模型性能，并通过消融研究评估架构贡献。
• 利用Yelp情感极性数据集和MyPersonality数据集探索应用，分析因果解释中的年龄与人口统计模式及情感关联。

实验结果

研究问题

• RQ1 在非正式且句法多变的社交媒体文本中，哪种模型架构在检测因果解释存在性方面表现最佳？
• RQ2 在识别构成因果解释的具体短语时，序列模型（如BiLSTM）与传统分类器（如SVM）的性能相比如何？
• RQ3 年龄和性别等人口因素与社交媒体帖子中因果解释使用频率的相关性有多大？
• RQ4 与对所有话语论据进行统一分析相比，包含因果解释上下文如何改善情感分析？
• RQ5 架构设计（如用词袋方法替代BiLSTM层）对因果解释识别准确率的影响如何？

主要发现

• SVM分类器在因果关系检测任务中取得了0.791的最高F1分数，优于基于RNN的模型，表明基于特征的模型更适合此类二分类任务。
• 分层双向LSTM模型在因果解释识别任务中取得了0.853的F1分数，显著优于其他模型，包括简单的RNN和基于特征的模型。
• 完整流水线的整体F1得分为0.868，表明在社交媒体文本的端到端因果解释分析中表现优异。
• 消融研究显示，若将词级别或话语论据级别中的任一BiLSTM层替换为词袋方法，准确率均会下降，证实了序列建模的重要性。
• 老年人和女性在因果解释使用频率上显著更高，两种情况下效应量均中等（p < .05）。
• 在情感分析中，Yelp评论里的因果解释与'最差'、'无礼'、'过贵'和'缓慢'等内容词的关联性更强，表明因果上下文能更准确捕捉情感的根本原因。