[论文解读] Deep Convolutional Neural Networks in the Face of Caricature: Identity and Image Revealed

Matthew Q. Hill, Connor J. Parde+6 more|arXiv (Cornell University)|Dec 28, 2018

Face recognition and analysis参考文献 57被引用 13

一句话总结

本文研究了深度卷积神经网络（DCNNs）如何在高维人脸空间中组织人脸身份以及成像因素（如视角、光照和性别）。通过t-SNE可视化和线性分类，作者发现身份在性别下呈分层嵌套，光照在身份下嵌套，视角在光照下嵌套，而夸张化图像通过增强独特特征并降低对外貌变化的敏感性，提升了身份辨别能力。

ABSTRACT

Real-world face recognition requires an ability to perceive the unique features of an individual face across multiple, variable images. The primate visual system solves the problem of image invariance using cascades of neurons that convert images of faces into categorical representations of facial identity. Deep convolutional neural networks (DCNNs) also create generalizable face representations, but with cascades of simulated neurons. DCNN representations can be examined in a multidimensional "face space", with identities and image parameters quantified via their projections onto the axes that define the space. We examined the organization of viewpoint, illumination, gender, and identity in this space. We show that the network creates a highly organized, hierarchically nested, face similarity structure in which information about face identity and imaging characteristics coexist. Natural image variation is accommodated in this hierarchy, with face identity nested under gender, illumination nested under identity, and viewpoint nested under illumination. To examine identity, we caricatured faces and found that network identification accuracy increased with caricature level, and--mimicking human perception--a caricatured distortion of a face "resembled" its veridical counterpart. Caricatures improved performance by moving the identity away from other identities in the face space and minimizing the effects of illumination and viewpoint. Deep networks produce face representations that solve long-standing computational problems in generalized face recognition. They also provide a unitary theoretical framework for reconciling decades of behavioral and neural results that emphasized either the image or the object/face in representations, without understanding how a neural code could seamlessly accommodate both.

研究动机与目标

• 理解深度卷积神经网络（DCNNs）如何表现场脸身份以及视角、光照和性别等成像变化。
• 检验DCNNs能否同时保持身份恒定性并适应图像级变化，从而解决人脸感知领域长期存在的争议。
• 研究夸张化对DCNN中身份表征的影响，模拟人类对人脸相似性的感知。
• 确定DCNN中人脸空间的分层组织是否与灵长类视觉系统及行为数据中观察到的原则相一致。
• 提供一个统一的理论框架，利用深度学习表征调和以对象为中心与基于图像的面孔识别模型。

提出的方法

• 在人脸识别任务上训练了两个DCNN——网络A（在Universe数据集上使用Crystal Loss的ResNet-101）和网络B（在CASIA-WebFace数据集上训练的15层CNN）。
• 提取所有刺激（包括变形人脸）的512维倒数第二层特征作为身份描述符。
• 使用t-SNE（采用Barnes-Hut近似，θ=0.5，困惑度=30和100）将高维人脸空间可视化为二维，保留角度距离。
• 应用线性判别分析（LDA）对性别和光照进行分类，并使用Moore-Penrose广义逆矩阵进行线性回归以预测视角。
• 进行置换检验（n=1000）以评估分类结果的统计显著性，所有变量的p值均小于.001。
• 通过3D激光扫描生成变形刺激，调节身份强度（s），使得s>1产生夸张化图像，0<s<1产生反夸张化图像。

实验结果

研究问题

• RQ1 DCNN的深层人脸表征空间中，身份、性别、光照和视角如何组织？
• RQ2 提高夸张化程度是否能提升DCNN中的身份识别准确率，且是否与人类对人脸相似性的感知一致？
• RQ3 DCNN在视角和光照变化下在多大程度上保持身份恒定性？
• RQ4 是否可以量化并可视化成像因素（如身份在性别下、光照在身份下）的分层嵌套结构？
• RQ5 夸张化是否增强了人脸空间中身份表征的分离，从而减少光照和视角的干扰？

主要发现

• DCNN的人脸空间呈现出分层嵌套结构：身份嵌套于性别之下，光照嵌套于身份之下，视角嵌套于光照之下。
• 夸张化人脸提升了DCNN的身份识别准确率，且随着夸张化强度的增加，性能持续提高。
• 夸张化通过将表征在人脸空间中移离其他身份更远，增强了身份的独特性，从而减少了光照和视角带来的干扰。
• 使用512维特征进行性别和光照的LDA线性分类结果具有统计显著性（p<.001），真实值与置换检验的零分布无重叠。
• 使用Moore-Penrose广义逆矩阵进行线性回归预测视角的结果也具有显著性（p<.001），证实视角信息被编码在表征中。
• 结果在两种不同的DCNN架构（网络A和网络B）中保持一致，支持了所观察到的人脸空间组织的稳健性。