[论文解读] Do They All Look the Same? Deciphering Chinese, Japanese and Koreans by Fine-Grained Deep Learning

Yu Wang, Haofu Liao+3 more|arXiv (Cornell University)|Oct 6, 2016

Face recognition and analysis参考文献 17被引用 11

一句话总结

本文提出了一种细粒度的深度学习方法，利用从 Twitter 获取的 39,883 张标注图像对中文、日文和韩文人脸进行分类，准确率达到 75.03%，显著优于随机猜测（33.33%）和人类表现（38.89%）。研究进一步识别出独特的面部特征，如中国人的浓密眉毛、日本人频繁微笑，以及韩国人的黑色头发，同时揭示了跨国性别特征模式。

ABSTRACT

We study to what extend Chinese, Japanese and Korean faces can be classified and which facial attributes offer the most important cues. First, we propose a novel way of obtaining large numbers of facial images with nationality labels. Then we train state-of-the-art neural networks with these labeled images. We are able to achieve an accuracy of 75.03% in the classification task, with chances being 33.33% and human accuracy 38.89% . Further, we train multiple facial attribute classifiers to identify the most distinctive features for each group. We find that Chinese, Japanese and Koreans do exhibit substantial differences in certain attributes, such as bangs, smiling, and bushy eyebrows. Along the way, we uncover several gender-related cross-country patterns as well. Our work, which complements existing APIs such as Microsoft Cognitive Services and Face++, could find potential applications in tourism, e-commerce, social media marketing, criminal justice and even counter-terrorism.

研究动机与目标

• 通过实证测试面部分类准确率，挑战‘中国人、日本人和韩国人看起来都一样’的普遍观念。
• 收集并标注来自 Twitter 用户的 39,883 张大规模人脸图像数据集，其国籍经验证。
• 识别在细粒度层面上区分中国人、日本人和韩国人个体的最具判别性的面部特征。
• 探索东亚人群中跨国性别相关面部特征的模式。

提出的方法

• 从亚洲名人 Twitter 关注者的个人资料图像中收集数据，构建一个包含 39,883 张人脸的平衡且带有国籍标签的数据集。
• 微调最先进的深度神经网络（特别是 VGG 和 ResNet），实现端到端的人脸国籍分类。
• 使用 CelebA 数据集为 40 种面部特征分别训练深度神经网络，以支持细粒度的特征分析。
• 使用 OpenCV 进行人脸检测，并应用特定属性的分类器分析不同国籍之间的差异。
• 应用统计分析比较中国人、日本人和韩国人中各类特征的普遍性，涵盖总体及按性别划分的分析。
• 使用标准指标评估模型性能，并将结果与随机猜测和人类基线表现进行比较。

实验结果

研究问题

• RQ1 能否使用深度学习可靠地对中文、日文和韩文人脸进行分类？其性能与人类感知相比如何？
• RQ2 哪些具体的面部特征是区分中国人、日本人和韩国人个体的最具判别性线索？
• RQ3 中国人、日本人和韩国人中是否存在一致的性别相关面部差异？这些差异在不同国家之间有何变化？
• RQ4 社会或文化规范在多大程度上影响了东亚人群中可观察到的面部特征分布？

主要发现

• 所提出的深度学习模型实现了 75.03% 的分类准确率，显著高于随机猜测（33.33%）和人类表现（38.89%）。
• 日本人被发现微笑频率最高，而中国人微笑的可能性最低。
• 中国人在三类人群中表现出最普遍的浓密眉毛。
• 韩国人最常具有黑色头发，而日本人最不可能具有黑色头发。
• 眼袋在日本人中最为普遍，其次为韩国人，这一现象在男性和女性群体中均成立。
• 所有三个国家的男性佩戴眼镜的可能性是女性的两倍，表明可能与职业或社会压力因素有关。