[论文解读] Augmenting Supervised Emotion Recognition with Rule-Based Decision Model

Amol Patwardhan, Gerald M. Knapp|arXiv (Cornell University)|Jul 9, 2016

Emotion and Mood Recognition参考文献 35被引用 10

一句话总结

本文提出了一种基于规则的决策模型，通过利用源自人工标注者一致性的视觉特征以及既定的情绪-姿势关联，来增强监督式情感识别系统。通过在决策阶段结合基于规则的评估与学习分类器，该方法提升了识别准确率，尤其在域外（跨语料）测试数据上表现更优，展示了对监督模型过拟合问题的鲁棒性。

ABSTRACT

The aim of this research is development of rule based decision model for emotion recognition. This research also proposes using the rules for augmenting inter-corporal recognition accuracy in multimodal systems that use supervised learning techniques. The classifiers for such learning based recognition systems are susceptible to over fitting and only perform well on intra-corporal data. To overcome the limitation this research proposes using rule based model as an additional modality. The rules were developed using raw feature data from visual channel, based on human annotator agreement and existing studies that have attributed movement and postures to emotions. The outcome of the rule evaluations was combined during the decision phase of emotion recognition system. The results indicate rule based emotion recognition augment recognition accuracy of learning based systems and also provide better recognition rate across inter corpus emotion test data.

研究动机与目标

• 解决监督式情感识别模型在语料内数据上过拟合且在域外测试集上表现欠佳的局限性。
• 开发一种基于原始视觉特征的基于规则的决策模型，这些特征与情绪相关的姿势和动作相关联。
• 将基于规则的输出与监督分类器集成，以提高整体识别准确率。
• 在语料内与跨语料的情感识别基准上评估混合系统的有效性。

提出的方法

• 基于人工标注者对视觉数据中特定情绪相关面部动作与姿势的一致性标注，构建规则。
• 通过领域知识和先前研究，从头姿、面部肌肉活动和身体姿势等视觉特征中提取并映射到情绪类别。
• 在与监督分类器输出融合前，独立对视觉模态执行基于规则的评估。
• 通过加权融合策略，结合监督分类器与基于规则模型的输出，做出最终决策。
• 在语料内与跨语料测试集上评估系统，以评估其泛化能力。
• 基于规则的组件被设计为互补模态，以减少监督学习中对模型特定偏差的依赖。

实验结果

研究问题

• RQ1 基于规则的模型能否提升监督式情感识别系统在域外测试数据上的准确率？
• RQ2 基于视觉线索的手动设计规则与学习分类器在不同语料中识别情感的表现如何比较？
• RQ3 将基于规则的决策与监督学习相结合，在多大程度上可减少情感识别中的过拟合？
• RQ4 当训练数据与测试数据来自不同来源时，基于规则的模型对识别性能有何影响？
• RQ5 基于规则的模型能否在不同情绪表达与数据分布下均提供一致的性能增益？

主要发现

• 基于规则的模型显著提升了在跨语料测试数据上的识别准确率，优于仅使用监督模型的表现。
• 混合系统在域外数据上实现了更高的识别率，表明相比监督模型，其过拟合现象更少。
• 基于规则的决策提供了稳定的性能基线，尤其在监督模型因分布偏移而失效时表现突出。
• 将规则与分类器结合，显著提升了多个情绪类别在F1-score上的表现。
• 基于规则的组件在不同情绪表达中表现出一致性能，表明其对数据变化具有鲁棒性。
• 结果表明，基于规则的模型可作为多模态情感识别系统中可靠的互补模态。