[论文解读] Recent Advances in 3D Object and Hand Pose Estimation

Vincent Lepetit|arXiv (Cornell University)|Jun 10, 2020

Human Pose and Action Recognition参考文献 81被引用 10

一句话总结

本文综述了使用单目、双目和RGB-D相机在3D物体与手势姿态估计方面的最新进展，重点聚焦于直接从图像中端到端预测3D姿态的深度学习方法。文章突出展示了基于体素特征网格的3D关键点回归与LSTM时间建模的端到端框架，实现了无需标记或传感器的高精度、实时姿态估计，从而支持自然的增强现实交互。

ABSTRACT

3D object and hand pose estimation have huge potentials for Augmented Reality, to enable tangible interfaces, natural interfaces, and blurring the boundaries between the real and virtual worlds. In this chapter, we present the recent developments for 3D object and hand pose estimation using cameras, and discuss their abilities and limitations and the possible future development of the field.

研究动机与目标

• 提供基于摄像头计算机视觉的3D物体与手势姿态估计近期进展的全面概述。
• 识别无标记、实时3D姿态估计中的关键挑战，包括遮挡、视角变化以及对新物体的泛化能力。
• 评估深度学习技术（特别是基于3D关键点回归与时间建模的方法）在实现鲁棒且精确姿态估计方面的有效性。
• 讨论现有基准的局限性，以及对未见物体和真实世界条件泛化能力的迫切需求。
• 探索端到端学习框架的潜力，该框架可从单张RGB或RGB-D图像中联合估计手部与物体姿态。

提出的方法

• 使用深度神经网络通过在离散化的3D体素单元内回归来预测3D关键点位置，通过每个体素单元的置信度与偏移量预测实现亚体素级精度。
• 为手部与物体姿态共享3D关键点表示，实现一致的损失计算，避免了损失权重调节的需要。
• 集成长短期记忆（LSTM）网络以建模视频帧间的时间一致性，提升姿态稳定性并支持动作识别。
• 利用MANO手部模型将预测的2D关节点位置与方向向量拟合为3D手部网格，实现逼真的手部形状与姿态估计。
• 采用HOnnotate框架自动标注真实世界RGB-D序列中的3D手部与物体姿态，构建用于训练的HO-3D数据集。
• 采用时间上的联合优化策略，利用时间一致性来优化3D姿态，提升对遮挡与噪声的鲁棒性。

实验结果

研究问题

• RQ1 如何仅使用RGB或RGB-D相机，在无标记或传感器的情况下实现鲁棒的实时3D物体与手势姿态估计？
• RQ2 用于从2D图像端到端回归3D关键点的最有效深度学习架构是什么？如何优化其精度与泛化能力？
• RQ3 通过LSTM进行时间建模在多大程度上能提升视频序列中3D姿态估计的稳定性和准确性？
• RQ4 当缺乏3D模型时，深度学习模型能否泛化到训练过程中未见过的新物体？
• RQ5 不同的姿态表示方法（如6D姿态（旋转+平移）与3D关键点集合）如何影响性能与训练效率？

主要发现

• 所提出的基于体素特征网格的3D关键点回归方法，通过结合基于体素的定位与亚体素偏移预测，在部分遮挡条件下仍能实现高精度的3D姿态估计。
• 通过共享3D关键点表示联合估计手部与物体姿态，简化了训练过程，避免了不同类型姿态损失权重的平衡问题。
• 采用LSTM进行时间建模显著提升了姿态稳定性，并支持对抓取、旋转等操作行为的识别。
• HOnnotate框架成功生成了大规模、自动标注的RGB-D序列，包含精确的3D手部与物体姿态，构成了HO-3D基准数据集。
• 在HO-3D上训练的模型对未见过的物体和手部具有良好的泛化能力，即使物体未出现在训练集中，也表现出强大的零样本泛化能力。
• 尽管取得了进展，但不同数据集与相机类型之间的性能差异表明，真实环境下的鲁棒性仍是挑战，尤其是在光照不良或面对新型物体形状时。