[论文解读] Deep Head Pose Estimation from Depth Data for In-car Automotive Applications

Marco Venturelli, Guido Borghi+2 more|arXiv (Cornell University)|Mar 6, 2017

Face recognition and analysis被引用 4

一句话总结

本文提出了一种仅使用单个传感器的原始深度数据、无需人脸关键点或RGB数据的实时端到端深度学习方法，用于头部姿态估计。该方法采用轻量级卷积神经网络（CNN），直接回归俯仰角、翻滚角和偏航角，在Biwi Kinect头部姿态数据集上实现了最先进精度（俯仰角2.8° ± 3.1°，翻滚角2.3° ± 2.9°，偏航角3.6° ± 4.1°），每帧推理时间低于10毫秒。

ABSTRACT

Recently, deep learning approaches have achieved promising results in various fields of computer vision. In this paper, we tackle the problem of head pose estimation through a Convolutional Neural Network (CNN). Differently from other proposals in the literature, the described system is able to work directly and based only on raw depth data. Moreover, the head pose estimation is solved as a regression problem and does not rely on visual facial features like facial landmarks. We tested our system on a well known public dataset, Biwi Kinect Head Pose, showing that our approach achieves state-of-art results and is able to meet real time performance requirements.

研究动机与目标

• 解决仅使用深度数据在车载环境中实现实时、高精度头部姿态估计的挑战。
• 克服现有方法依赖RGB数据、人脸关键点或需要手动初始化的局限性。
• 开发一种深度学习框架，高效解决头部姿态角度的回归问题，同时不牺牲速度。
• 在典型车载环境中光照条件变化和遮挡情况下实现鲁棒性能。

提出的方法

• 利用轻量级卷积神经网络（CNN）架构，在原始深度图像上端到端训练，直接回归头部姿态角度。
• 将头部姿态估计视为回归任务，学习从深度输入到三个欧拉角（俯仰角、翻滚角、偏航角）的映射，无需中间的关键点检测步骤。
• 采用基于真实头部中心的动态裁剪策略，使网络聚焦于面部区域，从而提高定位精度。
• 使用回归损失函数进行网络训练，以最小化预测姿态值与真实姿态值之间的角度误差。
• 通过采用浅层网络设计，优化实时性能，在GPU上实现每帧低于10毫秒的推理时间。
• 在Biwi Kinect头部姿态数据集上验证该方法，采用标准的仅依赖深度数据的头部姿态估计评估协议。

实验结果

研究问题

• RQ1 深度学习模型是否能仅使用原始深度数据实现高精度头部姿态估计，而无需依赖RGB或人脸关键点？
• RQ2 与传统方法相比，基于CNN的回归方法在深度数据上的精度和实时性能表现如何？
• RQ3 轻量级CNN在满足车载应用严格实时约束的前提下，能在多大程度上保持高精度？
• RQ4 该方法对车载深度数据中常见的视觉伪影和部分遮挡具有多大程度的鲁棒性？

主要发现

• 所提方法在Biwi Kinect头部姿态数据集上实现了最先进性能，平均角度误差分别为：俯仰角2.8° ± 3.1°，翻滚角2.3° ± 2.9°，偏航角3.6° ± 4.1°。
• 该模型在GPU上每帧处理时间低于10毫秒，满足车载监控系统对实时性的要求。
• 该方法优于其他最先进方法，包括使用RGB和深度数据的方法，证明了仅依赖深度学习的有效性。
• 网络对低质量深度输入具有良好的泛化能力，表现出对噪声、孔洞以及常见于车载环境中的部分遮挡的鲁棒性。
• 由于省去了人脸关键点检测步骤，简化了处理流程，减少了故障点，从而在动态驾驶场景中提升了可靠性。
• 该方法可扩展用于未来引入时序建模以及与RGB或红外数据融合，以进一步提升鲁棒性。