[论文解读] Emotion Representation Mapping for Automatic Lexicon Construction (Mostly) Performs on Human Level

Sven Buechel, Udo Hahn|arXiv (Cornell University)|Jun 22, 2018

Sentiment Analysis and Opinion Mining参考文献 49被引用 20

一句话总结

本文提出了一种用于情感表征映射（ERM）的深度神经网络模型，可将不同格式的情感评分（如效价-唤醒-支配力，VAD）与基本情感（BE5）之间相互转换，其性能优于以往的最先进方法。关键贡献在于证明了该模型的预测结果在跨语言情境下几乎与人工标注一致，从而能够为13种语言构建高质量的自动情感词典。

ABSTRACT

Emotion Representation Mapping (ERM) has the goal to convert existing emotion ratings from one representation format into another one, e.g., mapping Valence-Arousal-Dominance annotations for words or sentences into Ekman's Basic Emotions and vice versa. ERM can thus not only be considered as an alternative to Word Emotion Induction (WEI) techniques for automatic emotion lexicon construction but may also help mitigate problems that come from the proliferation of emotion representation formats in recent years. We propose a new neural network approach to ERM that not only outperforms the previous state-of-the-art. Equally important, we present a refined evaluation methodology and gather strong evidence that our model yields results which are (almost) as reliable as human annotations, even in cross-lingual settings. Based on these results we generate new emotion ratings for 13 typologically diverse languages and claim that they have near-gold quality, at least.

研究动机与目标

• 开发一种基于神经网络的情感表征映射（ERM）方法，以改进现有词语情感诱导（WEI）技术，实现自动情感词典构建。
• 通过实现情感资源在不同格式和跨语言环境下的兼容性，解决情感表征格式日益碎片化的问题。
• 建立一个严谨的评估框架，通过归一化折半可靠性分数，将ERM性能与人工标注的可靠性进行直接比较。
• 利用所提出的ERM模型，为13种类型学上多样的语言生成高质量的自动构建情感词典。
• 公开发布训练好的模型、代码及新构建的词典，以支持可复现性与社区使用。

提出的方法

• 提出一种前馈神经网络（FFNN）模型，用于在效价-唤醒-支配力（VAD）与基本情感（BE5）格式之间映射情感评分，采用词级嵌入和多头注意力机制。
• 在来自现有心理学词典的多语言数据上进行训练，涵盖7种语言（英语、西班牙语、德语、波兰语、荷兰语、意大利语、葡萄牙语）的10个数据集，并额外引入希腊语、法语、瑞典语、芬兰语和中文的数据。
• 采用改进的评估方法，基于归一化折半可靠性，将模型预测与人工标注可靠性进行比较，从而实现对模型性能的直接基准测试。
• 在单语和跨语言设置下应用该模型：单语模式下使用特定语言的训练数据；跨语言模式下则将所有可用语言的数据拼接（为兼容性起见，排除支配力维度）。
• 采用一致的预处理流程，包括词形归一化、嵌入对齐，以及对VAD使用均方误差损失，对BE5使用交叉熵损失。
• 通过在单语数据上进行10折交叉验证，以及在跨语言数据上直接评估（不进行交叉验证）来验证结果，以确保实际应用中的适用性。

实验结果

研究问题

• RQ1 基于神经网络的ERM模型是否能在VAD与BE5格式之间的情感评分映射任务中，超越现有最先进WEI与ERM方法？
• RQ2 所提出的ERM模型在多大程度上能够匹配人工标注的可靠性，尤其是在跨语言设置下？
• RQ3 该模型是否能够为多种类型学上多样的语言生成接近黄金标准质量的情感词典？
• RQ4 基于归一化折半可靠性的评估方法是否能为ERM性能与人类表现的比较提供有效且可扩展的基准？
• RQ5 在跨语言与单语言设置下，模型在不同语言和情感维度（如效价、唤醒、喜悦、愤怒）上的表现如何变化？

主要发现

• 所提出的FFNN模型在单语和跨语言ERM任务中均优于以往最先进方法，所有评估的情感维度均实现性能提升。
• 在单语设置下，模型性能与人工评分者相当，10组中有8组在效价和唤醒维度上超过人类可靠性，25组中有11组在BE5维度上超越人类表现。
• 在跨语言设置下，模型保持了强劲性能，效价和喜悦维度的性能下降微乎其微（平均不足1个百分点），其他维度的下降幅度适中（最高约5个百分点），表明其具备强大的泛化能力。
• 基于与人工标注的归一化折半可靠性比较，模型的预测结果被认为具有接近黄金标准的质量，尤其在跨语言应用中表现突出。
• 作者成功构建了13种语言的情感词典，其中规模最大的词典包含12,884个词（英语，BE5格式），所有词典均通过GitHub公开发布。
• 本研究证明，ERM可作为WEI在自动词典构建中的可行替代方案，且具备在不兼容情感表征格式之间实现互操作性的附加优势。