[论文解读] Multi-modal Face Pose Estimation with Multi-task Manifold Deep Learning

Chaoqun Hong, Jun Yu|arXiv (Cornell University)|Dec 18, 2017

Face recognition and analysis参考文献 46被引用 46

一句话总结

本文提出了一种新型的深度学习框架——多任务流形深度学习（$M^{2}DL$），用于多模态人脸姿态估计。该框架通过引入流形正则化的卷积层，增强特征表示能力，并结合多任务学习，联合优化从多模态人脸数据（如RGB和深度图）到姿态输出的映射。该方法在DPOSE、HPID和BKHPD基准测试中达到最先进性能，展现出在复杂、非受限环境下的卓越准确性和鲁棒性。

ABSTRACT

Human face pose estimation aims at estimating the gazing direction or head postures with 2D images. It gives some very important information such as communicative gestures, saliency detection and so on, which attracts plenty of attention recently. However, it is challenging because of complex background, various orientations and face appearance visibility. Therefore, a descriptive representation of face images and mapping it to poses are critical. In this paper, we make use of multi-modal data and propose a novel face pose estimation method that uses a novel deep learning framework named Multi-task Manifold Deep Learning $M^2DL$. It is based on feature extraction with improved deep neural networks and multi-modal mapping relationship with multi-task learning. In the proposed deep learning based framework, Manifold Regularized Convolutional Layers (MRCL) improve traditional convolutional layers by learning the relationship among outputs of neurons. Besides, in the proposed mapping relationship learning method, different modals of face representations are naturally combined to learn the mapping function from face images to poses. In this way, the computed mapping model with multiple tasks is improved. Experimental results on three challenging benchmark datasets DPOSE, HPID and BKHPD demonstrate the outstanding performance of $M^2DL$.

研究动机与目标

• 解决在光照变化、遮挡和低分辨率输入等复杂条件下实现准确人脸姿态估计的挑战。
• 通过在深度神经网络中建模数据内在流形结构，提升特征表示能力。
• 通过多任务学习联合学习多种模态（如RGB和深度图），提升姿态映射性能。
• 构建一个端到端的深度学习框架，整合结构化数据关系与多模态输入，实现鲁棒的人脸姿态估计。

提出的方法

• 提出流形正则化卷积层（MRCL），显式建模神经元输出之间的几何关系，以学习更具内在性和判别性的特征表示。
• 采用多任务学习策略，每个任务对应一种不同模态（如RGB图像、深度图），实现跨视图的共享与专用特征学习。
• 使用共享的深度卷积主干网络进行多模态特征提取，随后通过任务特定的回归头进行姿态预测。
• 在多任务学习中应用LeastSparseTrace作为损失函数，以优化多个模态间姿态参数的联合回归。
• 通过引入图拉普拉斯矩阵，将流形正则化集成到卷积层中，以捕捉局部数据流形结构。
• 支持整个$M^{2}DL$架构的端到端训练，实现特征学习与姿态回归的联合优化。

实验结果

研究问题

• RQ1 在卷积层中引入流形正则化是否能提升人脸特征表示的内在性，从而改善姿态估计性能？
• RQ2 在多种模态（如RGB和深度图）之间采用多任务学习，是否相比单模态方法能带来更好的泛化能力与更高的姿态估计准确率？
• RQ3 通过流形学习整合结构化数据关系与多模态数据，是否能提升在非受限、真实世界场景下的鲁棒性？
• RQ4 所提出的$M^{2}DL$框架在多样化的基准数据集上，与当前最先进方法相比，在准确率与泛化能力方面表现如何？

主要发现

• $M^{2}DL$框架在DPOSE、HPID和BKHPD基准数据集上达到最先进性能，优于现有方法（包括SFS、RRF、TGP和LR）。
• 流形正则化卷积层（MRCL）显著提升了特征表示能力，通过捕捉神经元之间的隐藏关系，生成更具鲁棒性与判别性的特征。
• 跨模态的多任务学习通过利用不同类型数据的互补信息，实现了更好的泛化能力与更高的姿态估计准确率。
• 所提方法在低分辨率图像、部分遮挡和非正面头姿等挑战性场景中表现出卓越的鲁棒性。
• 采用LeastSparseTrace作为多任务损失函数，实现了多个任务间姿态参数回归的更高稳定性与准确性。
• 实证结果表明，$M^{2}DL$在所有三个数据集上均持续优于基线方法（如显著人脸结构SFS、随机回归森林RRF和孪生高斯过程TGP）。