[论文解读] A Vector-based Representation to Enhance Head Pose Estimation

Zhiwen Cao, Zongcheng Chu+2 more|arXiv (Cornell University)|Oct 14, 2020

Face recognition and analysis参考文献 41被引用 4

一句话总结

本文提出一种基于向量的表示方法，使用三个正交向量（左、下、前）来表示头部姿态，克服了欧拉角和四元数中的不连续性问题。该方法引入了一种新的损失度量——向量平均绝对误差（MAEV），并提出一种受约束的神经网络（TriNet），可预测正交向量，在AFLW2000和BIWI数据集上实现了最先进性能，尤其在侧视图像上的误差显著降低。

ABSTRACT

This paper proposes to use the three vectors in a rotation matrix as the representation in head pose estimation and develops a new neural network based on the characteristic of such representation. We address two potential issues existed in current head pose estimation works: 1. Public datasets for head pose estimation use either Euler angles or quaternions to annotate data samples. However, both of these annotations have the issue of discontinuity and thus could result in some performance issues in neural network training. 2. Most research works report Mean Absolute Error (MAE) of Euler angles as the measurement of performance. We show that MAE may not reflect the actual behavior especially for the cases of profile views. To solve these two problems, we propose a new annotation method which uses three vectors to describe head poses and a new measurement Mean Absolute Error of Vectors (MAEV) to assess the performance. We also train a new neural network to predict the three vectors with the constraints of orthogonality. Our proposed method achieves state-of-the-art results on both AFLW2000 and BIWI datasets. Experiments show our vector-based annotation method can effectively reduce prediction errors for large pose angles.

研究动机与目标

• 解决头部姿态估计中使用的欧拉角和四元数标注中存在的不连续性问题。
• 提出一种新的评估度量——MAEV（向量平均绝对误差），更准确地反映实际姿态估计性能，尤其适用于大姿态角度。
• 开发一种深度神经网络（TriNet），可预测代表头部姿态的三个正交向量，并施加正交性约束。
• 提升在侧视图像上的性能，因为传统基于欧拉角的方法由于万向节锁死和标签不连续性而失效。

提出的方法

• 使用三个正交向量（左，红色；下，绿色；前，蓝色）表示头部姿态，这些向量由旋转矩阵导出。
• 训练一个基于CNN的网络（TriNet）直接预测这三个向量，并通过可微分的损失约束确保正交性。
• 基于预测向量与真实标签向量之间的角度差，引入一种新的损失函数，构成MAEV度量。
• 在胶囊网络输出层应用均匀采样，以改善特征表示和预测准确性。
• 使用300W-LP作为训练数据集，并在AFLW2000和BIWI数据集上使用MAE和MAEV两种度量进行评估。
• 在训练过程中通过可微分的正交性正则化损失，约束预测向量始终保持正交。

实验结果

研究问题

• RQ1 基于向量的姿态表示是否能减少欧拉角和四元数中存在的不连续性问题？
• RQ2 所提出的MAEV度量是否比传统的欧拉角平均绝对误差（MAE）更能准确、可靠地评估头部姿态估计性能？
• RQ3 一种训练为预测三个正交向量的深度神经网络，是否能在大姿态角度（尤其是侧视图像）下取得更好性能？
• RQ4 正交性约束和基于向量的损失函数的引入，是否能提升头部姿态估计的泛化能力和鲁棒性？

主要发现

• 所提出的基于向量的标注方法在相似姿态（如侧视图像）下能保持一致的表示，而欧拉角则表现出较大的标签差异。
• MAEV度量提供了更准确的性能衡量，对于侧视图像的预测误差仅为2.249°，而欧拉角的MAE则误导性地高达44.2°。
• 在BIWI数据集上，TriNet实现了最佳性能，MAE为4.23°，MAEV为2.81°，优于所有基线方法。
• 误差分析表明，随着姿态角度增大，MAEV的增长远慢于MAE，证实了MAE在大姿态估计中的不足。
• 消融实验表明，结合特征映射、胶囊模块和正交性损失可获得最佳性能，且胶囊层中非均匀采样进一步提升了结果。
• 该方法显著降低了侧视图像的预测误差，而FSA-Net和Hopenet在此类图像上会产生任意结果，TriNet则保持了高精度。