[论文解读] Attributes for Improved Attributes: A Multi-Task Network for Attribute Classification

Emily Hand, Rama Chellappa|arXiv (Cornell University)|Apr 25, 2016

Face recognition and analysis参考文献 25被引用 25

一句话总结

本文提出一种多任务深度卷积神经网络（MCNN）及其辅助网络（MCNN-AUX），通过共享低层特征、对相关属性分组处理高层特征以及分数级融合网络，利用属性之间的关系提升面部属性分类性能。该方法在CelebA和LFWA数据集上达到最先进性能，参数量减少4倍，训练时间缩短16倍，相较于先前方法准确率最高提升15%。

ABSTRACT

Attributes, or semantic features, have gained popularity in the past few years in domains ranging from activity recognition in video to face verification. Improving the accuracy of attribute classifiers is an important first step in any application which uses these attributes. In most works to date, attributes have been considered to be independent. However, we know this not to be the case. Many attributes are very strongly related, such as heavy makeup and wearing lipstick. We propose to take advantage of attribute relationships in three ways: by using a multi-task deep convolutional neural network (MCNN) sharing the lowest layers amongst all attributes, sharing the higher layers for related attributes, and by building an auxiliary network on top of the MCNN which utilizes the scores from all attributes to improve the final classification of each attribute. We demonstrate the effectiveness of our method by producing results on two challenging publicly available datasets.

研究动机与目标

• 解决现有方法中将面部属性视为独立个体的局限性，尽管这些属性之间存在强烈依赖关系（如口红与浓妆）
• 通过深度学习挖掘属性之间的语义关系，提升属性分类准确率
• 在不依赖昂贵预训练或数据对齐的前提下，降低模型复杂度与训练时间
• 在大规模数据集（CelebA和LFWA）上，通过统一的多任务框架展示最先进性能
• 设计一个辅助网络，显式建模属性分数之间的相互影响，以优化最终预测结果

提出的方法

• 设计一个多任务深度CNN（MCNN），在所有属性之间共享最底层的卷积层，以学习共享的低级特征
• 将相关属性（如化妆、口红、胡须）分组置于高层网络中，共享特征表示，捕捉语义依赖关系
• 引入一个辅助网络（AUX），以所有属性的原始分数作为输入，学习利用属性间关系来优化每个属性的预测结果
• 通过端到端反向传播联合训练MCNN与AUX，对所有属性优化交叉熵损失
• 使用数据增强（抖动）缓解过拟合，尤其在较小的LFWA数据集上表现更优
• 避免使用预训练、对齐或部件提取，完全依赖多任务架构实现性能提升

实验结果

研究问题

• RQ1 通过共享表征建模属性间关系，能否提升面部属性分类的准确率？
• RQ2 相较于独立分类器，多任务深度学习框架是否能有效降低模型复杂度与训练时间？
• RQ3 一个融合属性分数的辅助网络，能否使最终分类性能超越MCNN单独的效果？
• RQ4 属性间的关系（如口红→女性，浓妆→口红）在学习到的模型权重中如何体现？
• RQ5 MCNN-AUX框架在无需预训练的情况下，能否在CelebA和LFWA等多样化数据集上实现良好泛化能力？

主要发现

• MCNN-AUX框架在CelebA和LFWA上均达到最先进性能，优于先前所有方法，包括Liu等人在多个属性上的表现
• 在CelebA数据集中，该方法在'浓妆'和'苍白肤色'等属性上相较基线方法最高提升15%的准确率
• 由于属性间参数共享，模型参数量从6400万减少至1600万，减少4倍
• 与独立CNN相比，训练时间减少16倍以上，展现出显著的效率优势
• 辅助网络（AUX）学习到了有意义的属性间关系，热力图显示'口红'和'浓妆'对'女性'预测具有显著正向影响
• 即使未使用预训练，MCNN-AUX在LFWA的18个属性中，有11个属性优于Liu等人方法，其中'红润脸颊'提升11%，'苍白肤色'提升10%