[论文解读] Back to RGB: 3D tracking of hands and hand-object interactions based on short-baseline stereo

Paschalis Panteleris, Antonis Argyros|arXiv (Cornell University)|May 15, 2017

Hand Gesture Recognition Systems参考文献 54被引用 5

一句话总结

该论文提出了一种基于立体视觉的新型3D手部与手-物体追踪方法，通过将追踪问题建模为最大化立体视图间颜色一致性的优化问题，绕过了深度重建。该方法在性能上达到或优于当前最先进的RGBD方法，仅使用常规短基线RGB立体相机即可实现精确、实时的3D手部追踪，无需深度传感器。

ABSTRACT

We present a novel solution to the problem of 3D tracking of the articulated motion of human hand(s), possibly in interaction with other objects. The vast majority of contemporary relevant work capitalizes on depth information provided by RGBD cameras. In this work, we show that accurate and efficient 3D hand tracking is possible, even for the case of RGB stereo. A straightforward approach for solving the problem based on such input would be to first recover depth and then apply a state of the art depth-based 3D hand tracking method. Unfortunately, this does not work well in practice because the stereo-based, dense 3D reconstruction of hands is far less accurate than the one obtained by RGBD cameras. Our approach bypasses 3D reconstruction and follows a completely different route: 3D hand tracking is formulated as an optimization problem whose solution is the hand configuration that maximizes the color consistency between the two views of the hand. We demonstrate the applicability of our method for real time tracking of a single hand, of a hand manipulating an object and of two interacting hands. The method has been evaluated quantitatively on standard datasets and in comparison to relevant, state of the art RGBD-based approaches. The obtained results demonstrate that the proposed stereo-based method performs equally well to its RGBD-based competitors, and in some cases, it even outperforms them.

研究动机与目标

• 仅使用被动式短基线RGB立体相机，实现对手部及手-物体交互的精确、实时3D追踪。
• 通过避免显式3D重建，克服立体视觉深度重建在手部上常出现的噪声大或稀疏的问题。
• 证明无需专用深度传感器（如RGBD相机）即可实现高精度3D手部追踪。
• 在具有挑战性的场景下评估该方法：单手追踪、手-物体交互以及双手协同动作。
• 证明立体视图间颜色一致性可作为3D手部姿态估计的鲁棒且有效的优化目标。

提出的方法

• 该方法将3D手部追踪建模为一个优化问题，旨在最大化给定手部姿态假设下左右立体视图之间的光度一致性。
• 采用生成式“假设-检验”框架，结合3D手部模型，将当前的姿态假设投影到两个相机视图上。
• 优化目标为两视图中对应像素间颜色差异（如L2范数）的总和，通过最小化该值来寻找最一致的姿态。
• 使用粒子群优化（PSO）算法高效搜索高维手部姿态空间，以找到使颜色一致性最大的姿态配置。
• 该方法无需深度图或视差估计，避免了在低纹理、均匀着色的手部上立体匹配带来的误差。
• 统一应用前景分割以保证公平比较，但实验表明其对性能影响极小，表明方法对背景杂波具有鲁棒性。

实验结果

研究问题

• RQ1 仅使用短基线RGB立体视觉能否实现高精度3D手部追踪，而无需深度传感器？
• RQ2 当立体深度不可靠时，基于颜色一致性的优化方法是否优于或至少可与基于深度的方法相媲美？
• RQ3 该方法在真实世界场景（尤其是RGBD传感器因红外干扰而失效的户外环境）下的表现如何？
• RQ4 前景分割在多大程度上影响基于立体视觉的方法的性能？
• RQ5 该方法能否处理复杂交互，如手-物体操作和双手协调动作？

主要发现

• 所提出的基于立体视觉的方法在标准数据集上实现了与当前最先进的RGBD方法相当或更优的追踪精度，尤其在HO和TH基准上表现突出。
• 在TH数据集上，当给予更高的PSO计算预算时，该方法优于RGBD基线方法，表明其具有良好的可扩展性。
• 该方法在户外环境中保持了鲁棒性能，而RGBD传感器因红外干扰失效，立体视觉追踪仍有效。
• 前景分割仅带来0.3 mm的平均性能提升，表明该方法即使在缺乏精确分割的情况下也具有高度鲁棒性。
• 当输入为立体视觉生成的深度图时，该方法的发散程度远低于基于深度的方法，证明直接进行深度重建是手部追踪的次优中间步骤。
• 该方法计算效率高，适合实时应用，如在无需后处理或分割的真实序列中所展示的性能所示。