[论文解读] EmotioNet Challenge: Recognition of facial expressions of emotion in the wild

C. Fabian Benitez-Quiroz, Ramprakash Srinivasan+3 more|arXiv (Cornell University)|Mar 3, 2017

Face recognition and analysis参考文献 18被引用 49

一句话总结

本文介绍了EmotioNet挑战赛，一项针对在真实场景中识别面部情绪的计算机视觉算法的大规模评估。利用包含100万张图像的数据集（其中95万张为自动标注，5万张为人工验证），挑战赛测试了11个动作单元（AUs）的检测和16种情绪类别识别。主要发现表明，尽管算法对分辨率变化和轻微遮挡具有鲁棒性，当前算法在情绪识别方面仍存在显著困难，尤其是在非正面对3D姿态下表现更差。

ABSTRACT

This paper details the methodology and results of the EmotioNet challenge. This challenge is the first to test the ability of computer vision algorithms in the automatic analysis of a large number of images of facial expressions of emotion in the wild. The challenge was divided into two tracks. The first track tested the ability of current computer vision algorithms in the automatic detection of action units (AUs). Specifically, we tested the detection of 11 AUs. The second track tested the algorithms' ability to recognize emotion categories in images of facial expressions. Specifically, we tested the recognition of 16 basic and compound emotion categories. The results of the challenge suggest that current computer vision and machine learning algorithms are unable to reliably solve these two tasks. The limitations of current algorithms are more apparent when trying to recognize emotion. We also show that current algorithms are not affected by mild resolution changes, small occluders, gender or age, but that 3D pose is a major limiting factor on performance. We provide an in-depth discussion of the points that need special attention moving forward.

研究动机与目标

• 评估计算机视觉算法在非受控、真实世界环境（即“在野外”）中识别面部情绪表达的性能，突破受控实验室条件的限制。
• 评估检测11个特定面部动作单元（AUs）的最先进技术，这些AUs与情绪相关的肌肉运动相对应。
• 测试算法在自然、非受控环境中识别16种基本和复合情绪类别的能力。
• 识别限制算法性能的关键因素，如3D姿态、图像分辨率、遮挡以及人口统计学差异。
• 提供一个大规模、高质量的基准数据集（EmotioNet），包含自动生成和专家验证的标注，以支持未来研究。

提出的方法

• 从多样化的真实世界来源构建了包含100万张面部图像的大规模数据集，标注了面部动作单元和情绪类别。
• 基于人类神经认知原理的计算模型，自动标注95万张图像用于训练，已知标注准确率约为81%。
• 采用独立的人工标注验证集（2.5万张图像）来评估算法对噪声训练标签的鲁棒性。
• 保留一个隔离的测试集（2.5万张人工标注图像）用于最终评估，确保开发过程中无数据泄露。
• 设计了两个挑战赛道：一个用于AUs检测（11个AUs），一个用于情绪类别识别（16个类别），并采用标准化的评估协议。
• 在包括3D姿态（俯仰/偏航）、图像分辨率、遮挡、性别和年龄等变量上评估算法，以衡量其鲁棒性和偏差。

实验结果

研究问题

• RQ1 当前计算机视觉算法能否在非受控、真实世界图像中可靠检测11个面部动作单元（AUs）？
• RQ2 图像分辨率、轻微遮挡、性别和年龄在多大程度上影响AUs检测和情绪识别算法的性能？
• RQ3 3D面部姿态（俯仰和偏航）在真实世界环境中如何影响情绪识别和AUs检测的准确性？
• RQ4 为何算法在情绪类别识别上的表现显著差于AUs检测，尽管人类能轻松完成这一任务？
• RQ5 当在高质量人工标注子集上验证时，算法能否有效从噪声训练标签中学习？

主要发现

• 当前计算机视觉算法无法在真实世界、非受控图像中可靠检测面部动作单元（AUs）或识别情绪类别。
• 情绪识别性能显著差于AUs检测，表明即使是最基本的日常人类能力，AI系统仍难以企及。
• 3D面部姿态是最关键的限制因素，随着面部偏离正面对视角，性能显著下降。
• 算法对轻微的图像分辨率变化和小范围遮挡表现出鲁棒性，表明在处理尺度和局部干扰方面已取得进展。
• 未发现性别或年龄导致的显著偏差，表明当前模型在人口统计群体间未系统性偏移。
• 专家验证的验证集凸显了从噪声数据中学习的重要性，并提示联合激活模式建模可能提升在不可靠训练数据上的表现。