[论文解读] Learning Expectation of Label Distribution for Facial Age and Attractiveness Estimation

Bin-Bin Gao, Xinxin Liu+3 more|arXiv (Cornell University)|Jul 3, 2020

Face recognition and analysis参考文献 49被引用 7

一句话总结

该论文提出DLDL-v2，一种轻量级、统一的框架，通过联合学习标签分布并回归面部属性值，实现年龄和吸引力估计。通过将排名-CNN与DLDL统一在标签分布学习的共同视角下，并引入期望回归模块，消除了训练-评估不一致性，实现了参数量减少36倍、推理速度提升3倍的最先进性能。

ABSTRACT

Facial attributes (\eg, age and attractiveness) estimation performance has been greatly improved by using convolutional neural networks. However, existing methods have an inconsistency between the training objectives and the evaluation metric, so they may be suboptimal. In addition, these methods always adopt image classification or face recognition models with a large amount of parameters, which carry expensive computation cost and storage overhead. In this paper, we firstly analyze the essential relationship between two state-of-the-art methods (Ranking-CNN and DLDL) and show that the Ranking method is in fact learning label distribution implicitly. This result thus firstly unifies two existing popular state-of-the-art methods into the DLDL framework. Second, in order to alleviate the inconsistency and reduce resource consumption, we design a lightweight network architecture and propose a unified framework which can jointly learn facial attribute distribution and regress attribute value. The effectiveness of our approach has been demonstrated on both facial age and attractiveness estimation tasks. Our method achieves new state-of-the-art results using the single model with 36$ imes$ fewer parameters and 3$ imes$ faster inference speed on facial age/attractiveness estimation. Moreover, our method can achieve comparable results as the state-of-the-art even though the number of parameters is further reduced to 0.9M (3.8MB disk storage).

研究动机与目标

• 解决面部属性估计中训练目标与评估指标（MAE）之间的不一致性。
• 在统一的标签分布学习框架下整合排名-CNN与DLDL方法。
• 在保持或提升性能的同时，降低模型复杂度与推理成本。
• 开发一种轻量级、高效且可解释的深度学习框架，用于年龄与吸引力估计。
• 通过减少参数量与加快推理速度，实现资源受限设备上的部署。

提出的方法

• 提出统一的DLDL-v2框架，通过单一网络联合学习标签分布并回归期望属性值。
• 引入期望回归模块，直接优化MAE，使训练目标与评估指标对齐。
• 采用纤薄、深层的全卷积神经网络架构，仅含0.9M参数，显著降低存储与推理成本。
• 利用标签分布学习隐式建模相邻年龄/吸引力标签间的不确定性，提升模型鲁棒性。
• 结合遮挡敏感性分析进行数据增强，以评估特征重要性与模型可解释性。
• 通过证明排名-CNN与DLDL均隐式学习标签分布，实现两者的理论统一，建立共同基础。

实验结果

研究问题

• RQ1 排名-CNN与DLDL方法能否在统一的标签分布学习框架下实现统一？
• RQ2 联合学习标签分布与回归是否能在降低模型复杂度的同时提升性能？
• RQ3 轻量级网络能否在极少数参数下实现最先进性能与快速推理？
• RQ4 模型的决策机制如何依赖于特定面部区域？其可解释性如何？
• RQ5 消除训练-评估不一致性是否能带来更稳定、更准确的预测？

主要发现

• DLDL-v2在面部年龄与吸引力估计基准上均取得新的最先进性能。
• 与先前SOTA方法相比，该方法将模型参数量减少36倍，推理速度提升3倍，仅使用单一模型。
• 仅含0.9M参数（3.8MB存储空间），DLDL-v2实现与最先进模型相当的性能。
• 遮挡分析显示，模型最依赖眼睛、鼻子、嘴巴与下巴——这些是年龄与吸引力估计的关键面部区域。
• 由于联合学习标签分布与期望回归，模型性能更稳定，对异常值的敏感性更低。
• 该框架具备可解释性，特征重要性图显示模型对生物上相关的面部区域保持一致关注。