[论文解读] Soft-ranking Label Encoding for Robust Facial Age Estimation

Xusheng Zeng, Changxing Ding+2 more|arXiv (Cornell University)|Jun 9, 2019

Face recognition and analysis参考文献 60被引用 8

一句话总结

本文提出了一种新颖的年龄编码方法——Soft-ranking标签编码，该方法联合建模了年龄的序数性质以及相邻年龄之间的相关性，从而提升了深度学习的监督效果。结合一种轻量级的Maskout正则化策略，该方法在Morph II、CLAP2015和CLAP2016数据集上取得了最先进性能，使用单一网络模型在CLAP2016上超越了以往的集成模型方法。

ABSTRACT

Automatic facial age estimation can be used in a wide range of real-world applications. However, this process is challenging due to the randomness and slowness of the aging process. Accordingly, in this paper, we propose a comprehensive framework aimed at overcoming the challenges associated with facial age estimation. First, we propose a novel age encoding method, referred to as 'Soft-ranking', which encodes two important properties of facial age, i.e., the ordinal property and the correlation between adjacent ages. Therefore, Soft-ranking provides a richer supervision signal for training deep models. Moreover, we also carefully analyze existing evaluation protocols for age estimation, finding that the overlap in identity between the training and testing sets affects the relative performance of different age encoding methods. Finally, since existing face databases for age estimation are generally small, deep models tend to suffer from an overfitting problem. To address this issue, we propose a novel regularization strategy to encourage deep models to learn more robust features from facial parts for age estimation purposes. Extensive experiments indicate that the proposed techniques improve the age estimation performance; moreover, we achieve state-of-the-art performance on the three most popular age databases, $i.e.$, Morph II, CLAP2015, and CLAP2016.

研究动机与目标

• 为解决面部年龄估计中的挑战，包括随机且缓慢的衰老过程以及小规模、易过拟合的数据集问题。
• 开发一种统一的年龄编码方法，以捕捉面部衰老过程中年龄之间的序数关系与相互关联性。
• 通过一种高效且无需推理时额外计算的正则化策略，减少在有限年龄数据库上训练的深度模型的过拟合现象。
• 识别并纠正现有评估协议中因训练集与测试集之间存在身份重叠而引起的偏差。
• 仅使用公开可获取的数据，在标准面部年龄估计基准上实现最先进性能。

提出的方法

• Soft-ranking将年龄编码为一个概率向量，其中每个元素表示某张人脸年龄小于给定年龄的可能性，自然地融合了序数性与年龄间的相关性。
• 该方法使用软标签来建模相邻年龄组之间的渐进过渡，与硬排名或独热编码不同。
• Maskout正则化在训练过程中引入基于图像块的辅助任务，以促进对局部面部区域的鲁棒特征学习。
• Maskout仅在训练阶段应用，推理时被移除，确保测试阶段无计算开销。
• 该框架在统一的深度学习流程中整合了Soft-ranking作为主要监督信号，Maskout作为正则化器。
• 实验采用ResNet-34和VGG-16作为骨干网络，并通过消融研究验证各组件的贡献。

实验结果

研究问题

• RQ1 是否一种能够同时建模序数性与年龄间相关性的统一年龄编码方法，可以提升面部年龄估计的性能？
• RQ2 基于图像块的正则化策略（如Maskout）是否能有效减少过拟合，同时不增加推理成本？
• RQ3 训练集与测试集之间的身份重叠如何影响年龄估计方法的评估结果？
• RQ4 单一深度模型是否能够在公开基准上超越多模型集成方法以及使用私有数据的方法？
• RQ5 Soft-ranking是否比现有的编码策略（如独热编码、序数编码或基于排名的标签）更具有效性？

主要发现

• 在Morph II数据集的RS协议下，Soft-ranking在均值绝对误差（MAE）上达到1.69，优于所有先前方法，包括使用预训练的模型。
• 在CLAP2015上，所提方法实现了ε-误差为0.244，较之前最先进方法（AL-RoR-34∗）提升了0.012。
• 在CLAP2016上，该方法实现了ε-误差为0.232，创下单一模型方法的新最先进记录，甚至优于多模型集成方法。
• Maskout正则化有效减少了过拟合，提升了泛化能力，尤其在小数据集上表现显著，且在所有基准上均取得一致性能提升。
• 实证研究表明，训练集与测试集之间的身份重叠会导致性能比较产生误导，尤其对某些编码方法存在明显偏向。
• 消融研究证实，Soft-ranking与Maskout均对性能有显著贡献，二者结合可获得最佳结果。