[论文解读] BiERU: Bidirectional Emotional Recurrent Unit for Conversational Sentiment Analysis

Wei Li, Wei Shao+2 more|arXiv (Cornell University)|May 31, 2020

Sentiment Analysis and Opinion Mining参考文献 64被引用 40

一句话总结

BiERU 引入一种快速、紧凑的面向派对无关的框架，包含 Generalized Neural Tensor Block (GNTB) 和 Two-Channel Feature Extractor (TFE)，以对话中的上下文建模情感分析；双向变体 BiERU-gc 和 BiERU-lc 在参数更少的情况下实现了最先进的结果。

ABSTRACT

Sentiment analysis in conversations has gained increasing attention in recent years for the growing amount of applications it can serve, e.g., sentiment analysis, recommender systems, and human-robot interaction. The main difference between conversational sentiment analysis and single sentence sentiment analysis is the existence of context information which may influence the sentiment of an utterance in a dialogue. How to effectively encode contextual information in dialogues, however, remains a challenge. Existing approaches employ complicated deep learning structures to distinguish different parties in a conversation and then model the context information. In this paper, we propose a fast, compact and parameter-efficient party-ignorant framework named bidirectional emotional recurrent unit for conversational sentiment analysis. In our system, a generalized neural tensor block followed by a two-channel classifier is designed to perform context compositionality and sentiment classification, respectively. Extensive experiments on three standard datasets demonstrate that our model outperforms the state of the art in most cases.

研究动机与目标

• 解决在对话情感分析中对上下文信息编码的挑战。
• 开发一个快速、紧凑且参数高效的面向派对无关的模型，以处理多轮对话。
• 引入一种上下文可组合性机制，将上下文整合到话语表征中。
• 高效提取情感特征以提高情感分类和回归的能力。
• 在标准基准数据集上实现与现有方法相比更优的性能，同时参数更少。

提出的方法

• 提出一个由 Generalized Neural Tensor Block (GNTB) 和 Two-channel Feature Extractor (TFE) 组成的双向ERU (BiERU)。
• GNTB 通过将先前的上下文话语与当前话语结合来建模上下文可组合性，从而生成上下文话语向量 p_t。
• TFE 使用一个 LSTM 分支和一个 1D-CNN 分支，从 p_t 提取情感特征，生成用于预测的 e_t。
• 实现两个 BiERU 变体：BiERU-gc（全局上下文）和 BiERU-lc（局部上下文），以捕捉不同的上下文信息源。
• 使用交叉熵损失进行分类，或使用均方误差（MSE）损失进行回归进行训练，采用 L2 正则化和 Adam 优化。

实验结果

研究问题

• RQ1 一个紧凑的、面向派对无关的模型是否能够在不进行显式说话人分离的情况下有效捕捉对话上下文用于情感分析？
• RQ2 通过 GNTB 的上下文可组合性是否能改善话语表示以及下游的情感分类/回归，与现有方法相比？
• RQ3 全局上下文输入与局部上下文输入对在标准对话情感基准上的性能影响如何？
• RQ4 相对于最先进的面向说话人依赖和派对无关的基线，BiERU 的参数效率和训练效率如何？

主要发现

• BiERU-lc 在 IEMOCAP、MELD 上达到最先进结果，在 AVEC 上以文本模态实现竞争性表现。
• BiERU 模型在若干指标上优于 DialogRNN、DialogueGCN、AGHMN 等基线，且参数更少。
• BiERU-lc 通常优于 BiERU-gc，提示局部上下文信息在情感建模中表现更好。
• 消融研究显示，将 GNTB 与 TFE 相结合相比仅使用任一组件时，准确性/F1 值显著提升。
• BiERU 展现出较强的参数效率（例如在 IEMOCAP 上约 0.5M 参数，而 DialogueRNN 约 1M）和更快的训练时间。