[论文解读] A Novel Multi-Task Tensor Correlation Neural Network for Facial Attribute Prediction

Mingxing Duan, Kenli Li+1 more|arXiv (Cornell University)|Apr 9, 2018

Face recognition and analysis参考文献 25被引用 9

一句话总结

本文提出了一种多任务相关性神经网络（MTCN），通过在所有任务间共享低层次特征，同时利用跨网络特征增强学习任务特定的高层次表征，从而提升面部属性预测性能。该方法引入了一种新型张量相关性分析（NTCCA），用于建模深度特征中详细的、任务特定的相关性，通过利用层次化特征相关性，在CelebA和LFWA数据集上实现了最先进水平的准确率。

ABSTRACT

Face multi-attribute prediction benefits substantially from multi-task learning (MTL), which learns multiple face attributes simultaneously to achieve shared or mutually related representations of different attributes. The most widely used MTL convolutional neural network is heuristically or empirically designed by sharing all of the convolutional layers and splitting at the fully connected layers for task-specific losses. However, it is improper to view all low and mid-level features for different attributes as being the same, especially when these attributes are only loosely related. In this paper, we propose a novel multi-attribute tensor correlation neural network (MTCN) for face attribute prediction. The structure shares the information in low-level features (e.g., the first two convolutional layers) but splits that in high-level features (e.g., from the third convolutional layer to the fully connected layer). At the same time, during high-level feature extraction, each subnetwork (e.g., Age-Net, Gender-Net, ..., and Smile-Net) excavates closely related features from other networks to enhance its features. Then, we project the features of the C9 layers of the fine-tuned subnetworks into a highly correlated space by using a novel tensor correlation analysis algorithm (NTCCA). The final face attribute prediction is made based on the correlation matrix. Experimental results on benchmarks with multiple face attributes (CelebA and LFWA) show that the proposed approach has superior performance compared to state-of-the-art methods.

研究动机与目标

• 解决现有多任务学习方法在所有层过度共享特征的局限性，这些方法无法捕捉任务间的差异以及细微的属性相关性。
• 通过建模共享的低层次表征和任务特定的高层次特征相关性，提升面部属性预测性能。
• 开发一种新型张量相关性分析（NTCCA）方法，将高层次特征投影到高度相关空间，以增强属性之间的相互促进作用。
• 在基准数据集上验证所提出的MTCN框架的有效性，特别是在低数据量场景下的表现。

提出的方法

• MTCN架构在所有属性预测头（如Age-Net、Gender-Net）之间共享前两层卷积层（低层次特征），从第三卷积层开始分叉，以支持任务特定的学习。
• 每个子网络（如Smile-Net）在高层次特征学习过程中，主动从其他子网络中提取并整合相关特征，以提升表征质量。
• 提出一种新型非线性张量相关性相关分析（NTCCA）算法，将微调后子网络的C9层特征投影到共享的、高度相关空间中，以建模详细的属性间关系。
• 最终预测基于NTCCA生成的相关性矩阵进行，该矩阵泛化了属性之间的特征交互。
• 在数据子集上训练一个泛化矩阵，以稳定并提升相关性学习过程。

Figure 1: The methods used for face attribute prediction.

实验结果

研究问题

• RQ1 与完全参数共享相比，分层特征共享（即共享低层次特征但分叉高层次特征）是否能提升面部属性预测性能？
• RQ2 如何在高层次特征层面有效建模面部属性之间的任务特定相关性？
• RQ3 专用的张量相关性分析方法（NTCCA）是否能带来优于标准多任务学习或特征融合的性能提升？
• RQ4 所提出的MTCN在小样本数据集（如LFWA）上的表现如何，其中数据稀缺限制了性能？

主要发现

• 在CelebA数据集上，MTCN在40个属性上的平均准确率达到92.77%，显著优于先前最先进方法如MCNN+AUX（91.38%）和DMTL（91.67%）。
• 与不使用NTCCA的MTCN相比，引入NTCCA使平均准确率提升了1.39%，证明其在建模高层次特征相关性方面的有效性。
• 在较小的LFWA数据集上，MTCN保持了强劲性能，19个属性准确率超过90%，另有19个属性超过80%，表明其对数据稀缺具有鲁棒性。
• 如'Bangs'和'Blurry'等通常难以预测的属性也获得了显著性能提升，凸显了模型从属性间相关性中获益的能力。
• 模型在不同属性类别间表现稳定：类别I属性（如'Male'、'Attractive'）准确率超过90%，而类别II属性（如'Bald'、'Mustache'）虽具挑战性，但在新框架下也得到改善。

Figure 2: Full schematic diagram of our network architecture. (C1, C3, …, C9) denote the corresponding convolutional layers, (S2, S4, S6) represent pooling and normalization operations, N8 signifies only the normalization operation, and (F10 and F11) express the fully connected layers. The structure