[论文解读] DAGER: Deep Age, Gender and Emotion Recognition Using Convolutional Neural Network

Afshin Dehghan, Enrique Ortiz+2 more|arXiv (Cornell University)|Feb 14, 2017

Emotion and Mood Recognition参考文献 5被引用 80

一句话总结

DAGER 提供了一个端到端的 CNN 系统，用于真实年龄、表观年龄、性别和情感识别，基于大型内部数据集训练，在基准测试中达到最先进的结果。

ABSTRACT

This paper describes the details of Sighthound's fully automated age, gender and emotion recognition system. The backbone of our system consists of several deep convolutional neural networks that are not only computationally inexpensive, but also provide state-of-the-art results on several competitive benchmarks. To power our novel deep networks, we collected large labeled datasets through a semi-supervised pipeline to reduce the annotation effort/time. We tested our system on several public benchmarks and report outstanding results. Our age, gender and emotion recognition models are available to developers through the Sighthound Cloud API at https://www.sighthound.com/products/cloud

研究动机与目标

• 促进在现实世界应用（安全、HCI、识别）中对面部属性的鲁棒识别。
• 开发用于年龄、性别和情感估计的端到端、计算效率高的流程。
• 利用大型半监督数据集为每个属性训练专用网络。

提出的方法

• 在超过400万张图像、4万+个身份上训练一个骨干人脸识别模型，以作为特征提取器。
• 利用骨干特征对真实年龄、表观年龄、性别和情感的任务特定网络进行微调。
• 在网络训练前使用人脸检测、基于关键点的对齐（68 点）和裁剪到标准化输入。
• 使用半自动数据标注流程来整理大型年龄/性别/表情数据集。
• 与公开基准和商业 API 进行比较，以展示性能提升。
• 通过 Sighthound Cloud API 向开发者提供模型。

实验结果

研究问题

• RQ1 单个骨干网络加任务特定头是否能在真实年龄、表观年龄、性别和情感识别上实现高准确性？
• RQ2 使用大规模的内部数据结合半监督标注是否比公共数据集和现有商业系统获得更高的准确性？
• RQ3 这些模型在标准基准（Group、Adience、Chalearn）上的表现如何，以及与商业 API 相比？
• RQ4 分任务网络设计是否在面部属性识别方面比多任务全集成模型更高效且更准确？

主要发现

• 真实年龄估计：Sighthound 在其内部数据集上实现 MAE=5.76，超过 Rothe 等人（7.34）、Microsoft（7.62）、Kairos（10.57）和 Face++（11.04）。
• Group 数据集：top-1 年龄分类准确率 70.5%，1-off 准确率 96.2%，超过 Hou 等、Rothe 等、Dong 等及其他。
• Adience 基准：top-1 准确率 61.3%（±3.7%），超过若干先前方法。
• 表观年龄估计：在 Chalearn LAP 2016 上测试误差 0.319，排名第二，使用单个 CNN，速度快于顶尖多 CNN 方法。
• 情感识别：在 Sighthound 专用数据集上达到 76.1% 的准确率，优于 Microsoft Face API（61.3%）。
• 性别识别：Adience 基准准确率 91.00%，优于 Microsoft（90.86%）以及若干此前方法。