[论文解读] Weakly-supervised Multi-task Learning for Multimodal Affect Recognition

Wenliang Dai, Samuel Cahyawijaya+2 more|arXiv (Cornell University)|Apr 23, 2021

Sentiment Analysis and Opinion Mining参考文献 40被引用 13

一句话总结

本文提出弱监督多任务学习（WS-MTL），通过在情感识别、情绪分析和反语识别等任务中利用具有弱标签的辅助任务（如情感或反语）来提升小样本数据集上的多模态情感识别性能。该方法将准确率最高提升2.9%，F1分数最高提升3.3%，同时增强了模型稳定性，并表明当任务高度相关时，弱监督可达到与强监督相当的性能。

ABSTRACT

Multimodal affect recognition constitutes an important aspect for enhancing interpersonal relationships in human-computer interaction. However, relevant data is hard to come by and notably costly to annotate, which poses a challenging barrier to build robust multimodal affect recognition systems. Models trained on these relatively small datasets tend to overfit and the improvement gained by using complex state-of-the-art models is marginal compared to simple baselines. Meanwhile, there are many different multimodal affect recognition datasets, though each may be small. In this paper, we propose to leverage these datasets using weakly-supervised multi-task learning to improve the generalization performance on each of them. Specifically, we explore three multimodal affect recognition tasks: 1) emotion recognition; 2) sentiment analysis; and 3) sarcasm recognition. Our experimental results show that multi-tasking can benefit all these tasks, achieving an improvement up to 2.9% accuracy and 3.3% F1-score. Furthermore, our method also helps to improve the stability of model performance. In addition, our analysis suggests that weak supervision can provide a comparable contribution to strong supervision if the tasks are highly correlated.

研究动机与目标

• 解决因小样本、高成本标注数据集导致的多模态情感识别性能瓶颈。
• 探究弱监督多任务学习是否能提升有限数据集上多模态情感识别任务的模型泛化能力和稳定性。
• 评估弱标签（如情感、反语）相较于强标签在提升情感识别、情感分析和反语检测性能方面的有效性。
• 提出一种简单但有效的混合融合方法，结合早期融合与晚期融合，作为未来研究的强基线。

提出的方法

• 作者采用一种结合早期融合（模态特征的早期拼接）和晚期融合（模态特异性预测的后期拼接）的混合模态融合策略，在保持极低复杂度的同时实现了优异性能。
• 通过在相关数据集上使用弱标签数据，联合训练主任务（如情感识别）和辅助任务（如情感或反语识别），实现弱监督多任务学习。
• 采用损失加权机制，利用置信度分数或手动调优的权重来平衡辅助任务的贡献，减少弱标签带来的噪声影响。
• 通过在多个小样本、单任务标注的数据集上同时训练，实现跨数据集知识迁移，隐式扩充数据而无需额外标注。
• 在IEMOCAP、CMU-MOSEI和MELD数据集上，通过加权准确率和F1分数对模型性能进行评估，涵盖情感识别、情感分析和反语识别三个任务。
• 通过分析标签相关性（如反语与情感之间的皮尔逊相关系数），验证辅助任务选择的合理性并证明任务间的相关性。

实验结果

研究问题

• RQ1 弱监督多任务学习能否提升在小样本、单标签数据集上的多模态情感识别模型性能？
• RQ2 当辅助任务与主任务高度相关时，弱监督的性能与强监督相比如何？
• RQ3 同时使用多个来自不同辅助任务的弱标签是否能进一步提升性能，还是反而因引入噪声而阻碍学习？
• RQ4 简单的混合融合方法（早期+晚期融合）能否在多模态情感识别中超越复杂先进的模型？
• RQ5 多任务学习在多大程度上能缓解小样本数据集带来的性能不稳定性？

主要发现

• 弱监督多任务学习在情感识别、情感分析和反语识别任务中，准确率最高提升2.9%，F1分数最高提升3.3%。
• 性能提升在所有三个任务和数据集中均具有一致性，其中反语识别的增益最大。
• 多任务学习提升了模型稳定性，IEMOCAP数据集上加权准确率和F1分数的标准差分别降低了0.4%和0.3%。
• 弱标签（如情感或情绪）在情感分析中的表现与强情绪标签相当甚至更优，尤其因弱标签中包含中性类别而更具优势。
• 同时添加两个弱标签并未带来性能提升，反而可能因多个弱信号源引入的噪声而阻碍学习。
• 混合早期与晚期融合的模型性能优于或至少匹配当前最先进模型，确立了其作为未来多模态情感识别研究中一种强大而简洁的基线。