[论文解读] HO-3D_v3: Improving the Accuracy of Hand-Object Annotations of the HO-3D Dataset

Shreyas Hampali, Sayan Sarkar+1 more|arXiv (Cornell University)|Jul 2, 2021

Human Pose and Action Recognition被引用 14

一句话总结

HO-3D_v3 通过改进优化方法，提升了 HO-3D 数据集中 3D 手部与物体姿态标注的准确性：用交叉熵损失替代 L2 轮廓损失，采用解剖学对齐的关节轴，并引入基于球体的排斥项。该方法使指尖误差降低了 4mm（从 12.31mm 降至 8.12mm），并显著改善了手部与物体接触区域的真实感，减少了穿透现象。

ABSTRACT

HO-3D is a dataset providing image sequences of various hand-object interaction scenarios annotated with the 3D pose of the hand and the object and was originally introduced as HO-3D_v2. The annotations were obtained automatically using an optimization method, 'HOnnotate', introduced in the original paper. HO-3D_v3 provides more accurate annotations for both the hand and object poses thus resulting in better estimates of contact regions between the hand and the object. In this report, we elaborate on the improvements to the HOnnotate method and provide evaluations to compare the accuracy of HO-3D_v2 and HO-3D_v3. HO-3D_v3 results in 4mm higher accuracy compared to HO-3D_v2 for hand poses while exhibiting higher contact regions with the object surface.

研究动机与目标

• 提升 HO-3D 数据集中 3D 手部与物体姿态标注的准确性，此前的标注是通过自动化优化生成的，但结果不够理想。
• 解决 HO-3D_v2 的局限性，如不自然的姿态、接触估计不佳以及手部与物体之间较高的穿透现象。
• 通过优化约束和监督方式的改进，提升手部-物体交互的真实感与物理合理性。
• 为 3D 手部-物体交互研究提供更可靠的基准，尤其针对动态抓握和接触区域估计任务。
• 通过提升标注质量，使下游任务（如手部姿态估计和接触预测）具备更好的泛化能力与性能表现。

提出的方法

• 将 HO-3D_v2 中基于 L2 的轮廓差异项替换为使用 MSeg 生成的分割置信图计算的交叉熵损失，这些置信图被重映射为三类：物体、人物和背景。
• 直接在关节角度上进行优化，而非主成分分析（PCA）分量，使关节轴与解剖学上的手指方向对齐，避免局部极小值，并实现自然抓握姿态的可达性。
• 引入基于球体的排斥项，将手部和物体建模为一系列球体；排斥能量会惩罚超过 2mm 容差阈值的重叠。
• 利用所有相机的多视角深度点云，生成高精度的 3D 点云，用于手动标注和指尖位置的评估。
• 将改进后的优化框架应用于整个 HO-3D 数据集，重新计算手部与物体的姿态，从而生成 HO-3D_v3。
• 通过从 HO-3D_v2 表现较差的区域中选取的 50 幅手动标注帧（含指尖位置）来评估改进效果。

实验结果

研究问题

• RQ1 如何在原始 HO-3D_v2 版本的基础上，进一步提升 HO-3D 数据集中 3D 手部与物体姿态标注的准确性？
• RQ2 使用基于 MSeg 的分割结果计算的交叉熵损失，在轮廓对齐与姿态估计方面能带来多大程度的改进？
• RQ3 采用解剖学对齐的关节轴是否能减少姿态伪影，并提升自然抓握姿态的可达性？
• RQ4 基于球体的排斥项是否能带来更符合物理规律的手部-物体交互，同时减少穿透现象？
• RQ5 更新后的标注如何影响动态与静态抓握中的接触区域估计与相互穿透程度？

主要发现

• HO-3D_v3 将指尖平均误差从 HO-3D_v2 的 12.31mm 降低至 8.12mm，姿态准确性提升了 4mm。
• 新标注显示出显著更真实的手部-物体接触区域，尤其在动态抓握序列中，如接触图所示。
• HO-3D_v3 中手部与物体之间的平均穿透距离降低，表明尽管容差阈值相似，但物理合理性显著提升。
• 采用解剖学对齐的关节轴可有效防止 HO-3D_v2 中因 PCA 基础关节限制错位而产生的不自然姿态（如扭曲的拇指）。
• 基于球体的排斥项能有效减少相互穿透，同时保持精确的姿态估计，2mm 的穿透容差被用作阈值。
• 更新后的数据集包含 83,325 张训练图像和 20,137 张测试图像，远超 HO-3D_v2 的规模，同时保持了相同的主体与物体数量。