[论文解读] 4DFAB: A Large Scale 4D Facial Expression Database for Biometric Applications

Shiyang Cheng, Irene Kotsia+2 more|University of Twente Research Information|Dec 5, 2017

Face and Expression Recognition参考文献 42被引用 9

一句话总结

4DFAB 是一个大规模的4D面部表情数据库，包含180名受试者在五年内经过四个会话采集的数据，共包含超过180万帧高分辨率3D面部网格。该数据库支持先进的生物特征识别应用、面部表情识别以及高保真度的混合形状建模，显著优于以往模型在表情重建方面的表现，并实现了利用面部运动进行新型动态身份验证。

ABSTRACT

The progress we are currently witnessing in many computer vision applications, including automatic face analysis, would not be made possible without tremendous efforts in collecting and annotating large scale visual databases. To this end, we propose 4DFAB, a new large scale database of dynamic high-resolution 3D faces (over 1,800,000 3D meshes). 4DFAB contains recordings of 180 subjects captured in four different sessions spanning over a five-year period. It contains 4D videos of subjects displaying both spontaneous and posed facial behaviours. The database can be used for both face and facial expression recognition, as well as behavioural biometrics. It can also be used to learn very powerful blendshapes for parametrising facial behaviour. In this paper, we conduct several experiments and demonstrate the usefulness of the database for various applications. The database will be made publicly available for research purposes.

研究动机与目标

• 为解决缺乏支持生物特征识别应用的大规模、多会话4D面部数据库的问题。
• 提供一个综合数据集，结合摆拍和自发的面部表情，以提升面部行为建模的真实性。
• 支持利用时间序列面部运动开发鲁棒的动态面部识别与验证系统。
• 创建高质量、大规模的混合形状模型，以实现精确的3D面部表情合成。

提出的方法

• 使用高分辨率3D扫描技术，在五年内对180名受试者进行四次会话采集，共获得超过180万帧3D面部网格。
• 采集了摆拍和自发的面部表情，包括9个单词的发音及动态面部行为。
• 基于4DFAB数据集构建了一种新型表达混合形状模型，以高保真度表示面部形变。
• 使用3D可变形模型（3DMM）拟合方法提取中性目标面部，用于表情迁移应用。
• 将学习到的混合形状模型应用于将源受试者的表情迁移至目标3D面部，保持拓扑一致性。
• 通过未见表情的识别任务（人脸、表情、语音）和重建误差度量指标评估性能。

实验结果

研究问题

• RQ1 利用多会话4D数据中的动态面部运动，是否能超越静态3D人脸模型，在人脸识别与验证方面取得更好效果？
• RQ2 与最先进模型相比，所提出的混合形状模型在重建自发面部表情方面的有效性如何？
• RQ3 4DFAB在多大程度上能够通过表情迁移支持真实感3D面部动画的生成？
• RQ4 能否可靠地利用无身份信息的密集面部形状形变进行生物特征识别？
• RQ5 多会话数据对人脸识别系统泛化能力与鲁棒性有何影响？

主要发现

• 在使用LSTM模型的3D动态语音识别任务中，4DFAB数据库实现了77.89%的识别率，优于基线方法。
• 所提出的混合形状模型在累积重建误差方面显著低于FaceWarehouse模型，尤其在使用28个组件时表现更优。
• 基于4DFAB的模型进行表情迁移可产生更逼真的结果，有效保留了皱纹等细微面部特征。
• 该数据库首次实现了对动态面部运动在生物特征识别应用中的大规模评估，展现出有前景的识别性能。
• 多会话数据的使用提升了模型泛化能力，表现为在不同会话中识别与验证任务上的性能保持一致。
• 在较少组件下，基于4DFAB训练的混合形状模型在重建未见自发表情方面仍优于现有模型。