[论文解读] Happy Together: Learning and Understanding Appraisal From Natural Language

Arun Kumar Rajendran, Chiyu Zhang+1 more|arXiv (Cornell University)|Jun 9, 2019

Mental Health via Writing参考文献 4被引用 5

一句话总结

本文提出深度学习模型，利用 HappyDB 数据集对自然语言描述的快乐时刻中的代理属性（自我、他人或情境引发）和社会性（他人是否存在）进行分类。模型采用双向LSTM结合注意力机制，并使用先进的上下文嵌入技术（ELMo、CoVe、ULMFiT），在代理属性分类任务上达到87.97%的准确率，在社会性分类任务上达到93.13%的准确率，显著优于传统方法和仅使用简单嵌入的基线深度学习模型。

ABSTRACT

In this paper, we explore various approaches for learning two types of appraisal components from happy language. We focus on 'agency' of the author and the 'sociality' involved in happy moments based on the HappyDB dataset. We develop models based on deep neural networks for the task, including uni- and bi-directional long short-term memory networks, with and without attention. We also experiment with a number of novel embedding methods, such as embedding from neural machine translation (as in CoVe) and embedding from language models (as in ELMo). We compare our results to those acquired by several traditional machine learning methods. Our best models achieve 87.97% accuracy on agency and 93.13% accuracy on sociality, both of which are significantly higher than our baselines.

研究动机与目标

• 开发监督模型，以预测自然语言表达中快乐情绪的代理属性与社会性认知评估成分。
• 探究先进上下文词嵌入（ELMo、CoVe）与微调语言模型（ULMFiT）在这些新颖分类任务中的实用性。
• 通过可视化注意力权重，提升模型可解释性，识别对预测有贡献的关键词语。
• 使用传统机器学习方法（如基于TF-IDF的LinSVM）建立强基线，用于对比分析。
• 揭示语言线索如何与心理构念（如代理属性与社会性）在情感体验中的关系。

提出的方法

• 为代理属性与社会性分类任务分别训练带有与不带自注意力机制的双向LSTM网络。
• 整合来自ELMo、CoVe与ULMFiT的预训练上下文嵌入，以超越静态GloVe嵌入的表征学习能力。
• 在HappyDB数据集上对ULMFiT框架进行微调，以将通用语言表征适配至特定任务。
• 使用注意力机制为词级别分配权重，实现模型推理过程的可解释性与可视化。
• 将标注数据集按80%训练集（8,448个样本）与20%开发集（2,112个样本）划分，用于模型训练与超参数调优。
• 在保留的测试集（17,215个样本）上评估模型性能，采用准确率、AUC与F1分数作为指标，并通过CL-Aff共享任务提交预测结果。

实验结果

研究问题

• RQ1 深度学习模型能否有效分类自然语言表达中快乐情绪的代理属性（自我引发、他人引发或情境引发）？
• RQ2 模型能否基于文本线索准确预测快乐时刻中是否存在他人参与？
• RQ3 与传统机器学习方法相比，上下文词嵌入（ELMo、CoVe）与微调语言模型（ULMFiT）在预测代理属性与社会性方面的表现如何？
• RQ4 深度学习模型中的注意力机制在多大程度上能突出具有语言意义的词语，从而增强模型的可解释性？
• RQ5 在分类代理属性与社会性时，模型关注哪些语言特征？这些关注点是否与心理学预期一致？

主要发现

• 表现最佳的模型采用ELMo嵌入与双向LSTM结合自注意力机制，在代理属性分类任务上达到87.97%的准确率。
• 在社会性预测任务中，同一模型达到93.13%的准确率，显著优于所有基线模型与传统机器学习模型。
• 基于ELMo的模型表现优于微调后的ULMFiT模型，表明在此任务中，LSTM架构中的注意力机制比预训练策略更为关键。
• 注意力可视化显示，模型关注语义相关的词语：例如代理属性中关注“my”、“with”、“co-workers”，社会性中关注“daughter”、“family”、“friends”。
• 在正样本中被重点关注的词语与心理学构念一致：如社交动词（“told”、“came”）与群体指代词（“son”、“members”），表明模型预测与人类直觉相符。
• 基于注意力的可视化表明，模型学习到了有意义且可解释的两种评估成分表征，支持模型透明性与心理合理性。