[论文解读] Longitudinal Face Modeling via Temporal Deep Restricted Boltzmann Machines

Chi Nhan Duong, Khoa Luu+2 more|arXiv (Cornell University)|Jun 7, 2016

Face recognition and analysis参考文献 30被引用 13

一句话总结

本文提出一种基于时间深度受限玻尔兹曼机（TDRBMs）的深度生成模型，通过将非线性老化建模为一系列短期变化，实现逼真的人脸年龄进展合成。该方法整合了年龄估计、基于RBMs的皱纹建模以及几何约束，在FG-NET、CACD、MORPH以及一个新的大规模数据集AGFW等多个基准上实现了最先进的年龄进展与回归性能。

ABSTRACT

Modeling the face aging process is a challenging task due to large and non-linear variations present in different stages of face development. This paper presents a deep model approach for face age progression that can efficiently capture the non-linear aging process and automatically synthesize a series of age-progressed faces in various age ranges. In this approach, we first decompose the long-term age progress into a sequence of short-term changes and model it as a face sequence. The Temporal Deep Restricted Boltzmann Machines based age progression model together with the prototype faces are then constructed to learn the aging transformation between faces in the sequence. In addition, to enhance the wrinkles of faces in the later age ranges, the wrinkle models are further constructed using Restricted Boltzmann Machines to capture their variations in different facial regions. The geometry constraints are also taken into account in the last step for more consistent age-progressed results. The proposed approach is evaluated using various face aging databases, i.e. FG-NET, Cross-Age Celebrity Dataset (CACD) and MORPH, and our collected large-scale aging database named AginG Faces in the Wild (AGFW). In addition, when ground-truth age is not available for input image, our proposed system is able to automatically estimate the age of the input face before aging process is employed.

研究动机与目标

• 解决非线性、大规模人脸老化变化在非约束环境下的挑战。
• 开发一种端到端的全自动人脸年龄进展系统，无需依赖真实年龄标签。
• 通过建模皱纹和几何形状变化，提升年龄进展人脸的逼真度。
• 在统一框架内实现年龄回归与自动年龄估计作为互补功能。

提出的方法

• 使用时间深度受限玻尔兹曼机（TDRBMs）将长期人脸老化建模为一系列短期变换，以捕捉时间依赖性。
• 构建多节点TDRBM架构，学习序列中连续年龄阶段之间的老化转换。
• 整合一组跨年龄范围的原型参考人脸，以引导老化变换过程。
• 使用独立的受限玻尔兹曼机（RBMs）对不同面部区域的皱纹模式进行建模与增强，以提升逼真度。
• 应用从面部关键点推导出的几何约束，以保持不同年龄组之间的结构一致性。
• 集成一个三阶段年龄估计系统（三分类 + SVR），在缺少标签时自动预测输入人脸的年龄。

实验结果

研究问题

• RQ1 深度概率模型能否有效捕捉非约束环境下纵向人脸老化所呈现的非线性和复杂动态？
• RQ2 基于TDRBM的框架在多样化年龄范围和人口群体中，能否合成逼真的人脸年龄进展图像？
• RQ3 整合皱纹建模与几何约束在多大程度上提升了年龄进展人脸的感知质量与一致性？
• RQ4 所提出的系统能否在不依赖真实年龄标签的情况下，实现准确的年龄回归与自动年龄估计？
• RQ5 该模型在真实世界大规模老化数据库上的性能与当前最先进方法相比如何？

主要发现

• 在FG-NET数据集上，该模型的自动年龄估计平均绝对误差（MAE）为5.86年，在MORPH上为4.84年；在合成图像上误差仅轻微上升（FG-NET: 5.96年，MORPH: 5.17年）。
• 该模型生成的年龄进展人脸在年龄估计上的MAE与真实标注人脸相当（如FG-NET上为5.96年，真实人脸为5.89年），表明目标年龄对齐准确。
• 系统成功实现了年龄回归，能够从输入图像生成合理且逼真的年轻化人脸，结果在多个数据集上均保持视觉一致与自然。
• 基于RBMs的皱纹建模集成显著增强了面部皱纹等细微老化细节，尤其在后期年龄阶段表现更佳。
• 该模型在多样化数据集上泛化能力良好，包括新收集的野外年龄人脸数据集Aging Faces in the Wild（AGFW），展现出对姿态、表情和光照变化的强鲁棒性与可扩展性。
• 该框架完全自动化运行，无需输入图像中的人工年龄标签，显著提升了在真实世界应用中的实用性。