[论文解读] Linking emotions to behaviors through deep transfer learning

Haoqi Li, Brian Baucom+1 more|arXiv (Cornell University)|Oct 8, 2019

Emotion and Mood Recognition参考文献 78被引用 4

一句话总结

本文提出了一种深度迁移学习框架，利用从语音中识别出的情绪作为行为基元，以提升心理治疗情境下自动行为识别的性能。通过使用混合CNN-RNN架构提取与情绪相关联的特征，并分析其时序上下文，该方法表明情绪动态显著增强了行为分类效果，尤其在诸如接受与积极情绪等复杂、依赖上下文的行为上表现突出。

ABSTRACT

Human behavior refers to the way humans act and interact. Understanding human behavior is a cornerstone of observational practice, especially in psychotherapy. An important cue of behavior analysis is the dynamical changes of emotions during the conversation. Domain experts integrate emotional information in a highly nonlinear manner, thus, it is challenging to explicitly quantify the relationship between emotions and behaviors. In this work, we employ deep transfer learning to analyze their inferential capacity and contextual importance. We first train a network to quantify emotions from acoustic signals and then use information from the emotion recognition network as features for behavior recognition. We treat this emotion-related information as behavioral primitives and further train higher level layers towards behavior quantification. Through our analysis, we find that emotion-related information is an important cue for behavior recognition. Further, we investigate the importance of emotional-context in the expression of behavior by constraining (or not) the neural networks' contextual view of the data. This demonstrates that the sequence of emotions is critical in behavior expression. To achieve these frameworks we employ hybrid architectures of convolutional networks and recurrent networks to extract emotion-related behavior primitives and facilitate automatic behavior recognition from speech.

研究动机与目标

• 探究基本情绪是否可作为临床对话场景中自动行为识别的有效行为基元。
• 考察情绪的时序顺序与上下文演化在塑造行为表现中的作用，特别是心理治疗情境下的表现。
• 评估与情绪相关联的特征相较于原始声学特征在预测复杂、领域特定行为方面的有效性。
• 确定用于行为量化的最优时间上下文窗口长度，基于情绪表征。
• 开发一种迁移学习框架，利用情绪识别作为预训练任务，用于下游行为分类任务。

提出的方法

• 首先使用语音信号中的声学与语调特征，训练一个深度神经网络以识别六种基本情绪（愤怒、厌恶、恐惧、快乐、悲伤、惊讶）。
• 将预训练网络中学习到的情绪表征作为特征提取器，这些与情绪相关的特征被视作行为分类的“行为基元”。
• 采用结合卷积神经网络（CNNs）与循环神经网络（RNNs）的混合架构，以建模情绪序列中的局部模式与时序依赖关系。
• 对比两种模型：使用10分钟对话的全上下文模型与仅使用16秒窗口的简化上下文模型，以评估时间上下文的重要性。
• 通过在行为识别任务上微调网络的高层层，应用迁移学习，输入为基于情绪的特征。
• 在临床对话数据集上评估系统，行为标签来自既定的标注手册，性能通过皮尔逊相关系数（PUR）及其他指标进行衡量。

实验结果

研究问题

• RQ1 能否从语音中推断出的基本情绪状态，作为预测临床互动中复杂人类行为的有效基元？
• RQ2 与孤立情绪状态相比，情绪的时序顺序与上下文演化在多大程度上提升了行为识别效果？
• RQ3 上下文窗口长度（如16秒 vs. 10分钟）如何影响行为预测的准确性？
• RQ4 与原始声学特征或二值化情绪表征相比，基于情绪的特征在行为分类中是否更具有效性？
• RQ5 哪些类型的行为（如接受、责备、积极情绪）尤其受益于上下文情绪建模？

主要发现

• 与使用原始声学特征或二值化情绪表征的基线模型相比，基于情绪的特征显著提升了行为分类准确率。
• 全上下文模型通过捕捉长时间对话中情绪的时序动态，始终优于简化上下文模型，证实了时间上下文的重要性。
• 当使用完整上下文信息时，接受与积极情绪等行为表现出最大的性能提升（例如PUR差异更大），表明其对持续情绪模式的依赖性。
• 相反，责备等行为从扩展上下文中获益甚微，表明其更局部化，由显著的、短时的情绪线索驱动。
• 对于需要情绪连续性的行为（如积极情绪），模型表现最佳，这类行为要求长时间内保持一致的积极情绪。
• 悲伤是最难准确预测的行为，基于情绪的特征对其改善甚微，可能由于数据中类别不平衡及分类边界模糊。