[论文解读] Ladder Networks for Emotion Recognition: Using Unsupervised Auxiliary Tasks to Improve Predictions of Emotional Attributes

Srinivas Parthasarathy, Carlos Busso|arXiv (Cornell University)|Apr 28, 2018

Emotion and Mood Recognition参考文献 26被引用 42

一句话总结

本文提出了一种梯形网络架构，通过结合无监督去噪自编码与多任务学习，以提升情感属性（唤醒度、效价、支配度）的回归性能。通过在每一层使用跳跃连接来重建隐藏表征，该模型在MSP-Podcast数据集上实现了最先进（SOTA）的性能，优于仅使用孤立学习、自编码器或多任务学习但缺乏无监督正则化的基线模型。

ABSTRACT

Recognizing emotions using few attribute dimensions such as arousal, valence and dominance provides the flexibility to effectively represent complex range of emotional behaviors. Conventional methods to learn these emotional descriptors primarily focus on separate models to recognize each of these attributes. Recent work has shown that learning these attributes together regularizes the models, leading to better feature representations. This study explores new forms of regularization by adding unsupervised auxiliary tasks to reconstruct hidden layer representations. This auxiliary task requires the denoising of hidden representations at every layer of an auto-encoder. The framework relies on ladder networks that utilize skip connections between encoder and decoder layers to learn powerful representations of emotional dimensions. The results show that ladder networks improve the performance of the system compared to baselines that individually learn each attribute, and conventional denoising autoencoders. Furthermore, the unsupervised auxiliary tasks have promising potential to be used in a semi-supervised setting, where few labeled sentences are available.

研究动机与目标

• 通过深度神经网络提升连续情感属性（唤醒度、效价、支配度）的预测性能。
• 探究无监督辅助任务（特别是隐藏表征的去噪）是否能够正则化模型并提升泛化能力。
• 评估将无监督辅助任务与有监督多任务学习相结合在情感识别中的有效性。
• 探索梯形网络在标注数据有限的半监督设置下的潜力。

提出的方法

• 利用具有编码器与解码器层之间跳跃（横向）连接的梯形网络，以实现有监督回归与无监督去噪的联合训练。
• 在训练过程中，对每一层的隐藏表征施加方差为 σ² = 0.3 的噪声，以增强模型鲁棒性。
• 使用均方误差作为重建损失，并采用 λl = 1 的重建损失与回归损失的加权组合以实现最佳性能。
• 实施多任务学习（MTL）以联合预测全部三种情感属性，共享各任务之间的特征表示。
• 隐藏层使用 ReLU 激活函数，回归输出使用线性输出；通过 NADAM 优化器并结合 Dropout（p = 0.5）实现正则化。
• 采用组内相关系数（CCC）作为回归性能的损失函数与评估指标。

实验结果

研究问题

• RQ1 无监督辅助任务（即重建隐藏表征）是否能够提升情感属性回归的性能？
• RQ2 将无监督去噪与有监督多任务学习相结合，对情感识别中模型泛化能力有何影响？
• RQ3 梯形网络架构在预测连续情感维度方面是否优于标准自编码器和多任务学习基线？
• RQ4 通过梯形网络进行无监督预训练，在低资源情感识别中对半监督学习的益处有多大？

主要发现

• Ladder+MTL 模型在测试中表现最佳，唤醒度的 CCC 为 0.803 ± 0.002，效价为 0.458 ± 0.004，支配度为 0.746 ± 0.001。
• 梯形网络显著优于无监督自编码器基线模型（唤醒度 CCC 为 0.770 ± 0.004），表明仅使用自编码器特征进行回归效果不佳。
• Ladder+STL 模型在效价预测上表现最佳（CCC = 0.765 ± 0.002），优于 MTL 基线，表明无监督正则化对这一属性尤为有益。
• 所有梯形网络变体相较于基线模型均表现出统计上显著的性能提升（p < 0.05），证实了无监督辅助任务在表征学习中的价值。
• Ladder+MTL 模型实现了最佳整体性能，表明结合无监督与有监督辅助任务可生成最鲁棒的特征表示。
• 结果表明，梯形网络可有效拓展至半监督设置，利用大量未标注数据在有限标注数据条件下提升性能。