[论文解读] HO-3D: A Multi-User, Multi-Object Dataset for Joint 3D Hand-Object Pose Estimation.

Shreyas Hampali, Markus Oberweger+2 more|arXiv (Cornell University)|Jul 2, 2019

Hand Gesture Recognition Systems参考文献 71被引用 18

一句话总结

HO-3D 引入了一个新的多用户、多物体 3D 手部与物体姿态估计数据集，采用 RGB-D 和侧视彩色相机进行数据采集，通过融合深度、颜色和时间约束的全局优化方法实现高效标注。该方法从单张彩色图像训练出一种新型 3D 姿态估计器，显著提升了真实世界手部-物体交互建模的数据效率与可扩展性。

ABSTRACT

We propose a new dataset for 3D hand+object pose estimation from color images, together with a method for efficiently annotating this dataset, and a 3D pose prediction method based on this dataset. The current lack of training data makes the 3D hand+object pose estimation very challenging. This lack is due to the complexity of labeling many real images with both 3D poses and of generating synthetic images with various realistic interaction. Moreover, even if synthetic images could be used for training, annotated real images are still needed for validation. To tackle this challenge, we capture sequences with a simple setup made of a single RGB-D camera. We also use a color camera imaging the sequences from a side view, but only for validation. We introduce a novel method based on global optimization that exploits depth, color, and temporal constraints for efficiently annotating the sequences, which we use to train another novel method that predicts both the 3D poses of the hand and the object from a single color image. Our hope is to encourage other researchers to develop better annotation methods for our dataset: One can then apply such method to capture and easily annotate sequences captured with a single RGB-D camera to easily create additional training data thus solving one of the main problems of 3D hand+object pose estimation.

研究动机与目标

• 为解决真实、标注过的 3D 手部+物体姿态数据稀缺的问题，该问题限制了 3D 手部-物体姿态估计的进展。
• 开发一种高效的标注流程，利用深度、颜色和时间数据，对真实 RGB-D 序列中的复杂手部-物体交互进行标注。
• 使用单个 RGB-D 相机和侧视彩色相机，构建可扩展的数据采集与标注框架，用于验证。
• 基于新收集的数据集，训练一个 3D 姿态估计模型，仅从单张彩色图像预测手部和物体的关节姿态。
• 推动未来研究，开发自动化标注方法，以通过额外的真实世界序列扩展该数据集。

提出的方法

• 采用全局优化框架，通过最小化结合了深度、颜色和时间一致性项的代价函数，联合估计 3D 手部和物体姿态。
• 标注方法利用视频帧之间的时间一致性，提升姿态估计精度并减少标注工作量。
• 使用侧视彩色相机在标注过程中提供额外的监督信号，提升精度，而无需完整 3D 真值。
• 该方法利用深度和彩色数据中的几何与外观约束，解决手部-物体交互中的歧义性。
• 最终的姿态估计模型在标注数据集上端到端训练，从单张 RGB 图像预测 3D 手部和物体关键点位置。
• 该框架设计具有可扩展性，允许未来标注方法应用于相同设置下捕获的新序列。

实验结果

研究问题

• RQ1 是否可以通过融合深度、颜色和时间数据的全局优化方法，实现在真实 RGB-D 序列中 3D 手部+物体姿态的高效且准确的标注？
• RQ2 所提出的标注方法在保持高精度的同时，是否能有效降低标注复杂度？
• RQ3 在 HO-3D 数据集上训练的 3D 姿态估计器，是否能泛化到从未见过的手部-物体交互，仅从单张彩色图像进行推理？
• RQ4 在不依赖完整 3D 监督的情况下，使用侧视彩色相机在多大程度上提升了标注质量？
• RQ5 所提出的流程是否可扩展，以利用单个 RGB-D 相机捕获的新序列生成额外的训练数据？

主要发现

• 所提出的全局优化方法通过利用深度、颜色和时间约束，实现了高效且准确的 3D 手部+物体姿态标注。
• 使用侧视彩色相机通过提供额外的几何与外观线索，提升了标注精度。
• 所生成的 HO-3D 数据集支持多用户和多物体交互，增强了多样性与真实性。
• 在单张彩色图像推理上，训练好的 3D 姿态估计器表现出具有竞争力的性能，证明了该数据集的实用性。
• 该框架具备可扩展性和可扩展性，使未来研究者能够将改进的标注方法应用于使用最少硬件捕获的新序列。
• 该数据集与标注流程旨在减少对昂贵 3D 标注的依赖，从而加速未来模型的数据收集。