[论文解读] 6D Rotation Representation For Unconstrained Head Pose Estimation

Thorsten Hempel, Ahmed A. Abdelrahman+1 more|arXiv (Cornell University)|Feb 25, 2022

Medical Imaging and Analysis被引用 4

一句话总结

本文提出6DRepNet，一种无需关键点的头部姿态估计方法，采用连续的6D旋转矩阵表示，实现全范围、无歧义的6D旋转回归。通过使用尊重SO(3)流形几何结构的测地线损失进行训练，该方法在AFLW2000和BIWI数据集上达到最先进性能，相比先前方法提升高达20%。

ABSTRACT

In this paper, we present a method for unconstrained end-to-end head pose estimation. We address the problem of ambiguous rotation labels by introducing the rotation matrix formalism for our ground truth data and propose a continuous 6D rotation matrix representation for efficient and robust direct regression. This way, our method can learn the full rotation appearance which is contrary to previous approaches that restrict the pose prediction to a narrow-angle for satisfactory results. In addition, we propose a geodesic distance-based loss to penalize our network with respect to the SO(3) manifold geometry. Experiments on the public AFLW2000 and BIWI datasets demonstrate that our proposed method significantly outperforms other state-of-the-art methods by up to 20\%. We open-source our training and testing code along with our pre-trained models: https://github.com/thohemp/6DRepNet.

研究动机与目标

• 解决欧拉角和四元数表示在头部姿态估计中存在歧义性和不连续性的问题。
• 克服基于分箱分类方法的局限性，后者将姿态预测限制在狭窄的角度范围内。
• 通过使用连续且无歧义的旋转矩阵表示，实现端到端的全6D头部姿态直接回归。
• 通过基于测地距离的损失函数利用SO(3)流形几何结构，提升训练稳定性和泛化能力。
• 在无需依赖关键点检测或角度分箱的情况下，于多样化数据集上实现卓越性能。

提出的方法

• 使用3×3旋转矩阵的6D压缩形式表示3D旋转，通过省略第三列向量来避免训练过程中强制正交性。
• 通过Gram-Schmidt正交化将预测的6D向量映射回SO(3)，重建出有效的旋转矩阵。
• 使用测地距离作为损失函数，惩罚SO(3)流形内在黎曼几何中的预测误差，从而在鲁棒性上优于标准MSE。
• 使用深度CNN主干网络（如RepVGG或ResNet50）端到端训练，直接从图像输入回归6D表示。
• 通过消除对角度分箱的分类需求，避免旋转空间的离散化，实现全范围回归。
• 利用旋转矩阵的唯一参数化方式，消除歧义性，并提升在极端头部姿态下的泛化能力。

实验结果

研究问题

• RQ1 与离散分箱或欧拉角/四元数表示相比，连续6D旋转表示是否能提升全范围头部姿态估计性能？
• RQ2 在训练中使用尊重SO(3)流形几何结构的测地线损失，是否能带来比标准MSE损失更准确、更鲁棒的姿态回归？
• RQ3 在无约束设置下，直接回归6D旋转表示是否能超越基于关键点或分箱的方法？
• RQ4 主干网络的选择如何影响所提出的6D旋转回归框架的性能？
• RQ5 所提出的方法是否能在无需性能退化的情况下，泛化到多样化数据集，包括极端或无约束姿态？

主要发现

• 所提出的6DRepNet方法在BIWI数据集上使用测地线损失时，平均绝对误差（MAE）达到2.66，优于所有先前的最先进方法。
• 在AFLW2000数据集上，该方法在使用测地线损失时将MAE降低至3.97，相比先前最先进方法提升20%。
• 使用测地线损失训练的模型性能略优于使用ℓ₂损失的模型，证明了流形感知优化的优势。
• RepVGG主干网络在AFLW2000上实现3.97 MAE，在BIWI上实现2.66 MAE，相比ResNet50在所有测试场景中性能提升约7%。
• 该方法在偏航、俯仰和翻滚角度上均保持一致的性能表现，表明对全范围姿态变化具有鲁棒性。
• 消融研究证实，测地线损失能提升泛化能力，并减少高维旋转空间中的误差累积。