[论文解读] Egocentric Hand Detection Via Dynamic Region Growing

Shao Huang, Weiqiang Wang+2 more|arXiv (Cornell University)|Nov 10, 2017

Hand Gesture Recognition Systems参考文献 32被引用 3

一句话总结

本文提出一种用于第一视角手部检测的动态区域生长方法，利用运动模式和四种第一视角线索——对比度、位置、位置一致性及外观连续性——自动生成种子区域，并将其扩展为精确的手部分割结果。该方法在保持实时效率的同时，实现了最先进性能，尤其在复杂、多手场景中表现优异。

ABSTRACT

Egocentric videos, which mainly record the activities carried out by the users of the wearable cameras, have drawn much research attentions in recent years. Due to its lengthy content, a large number of ego-related applications have been developed to abstract the captured videos. As the users are accustomed to interacting with the target objects using their own hands while their hands usually appear within their visual fields during the interaction, an egocentric hand detection step is involved in tasks like gesture recognition, action recognition and social interaction understanding. In this work, we propose a dynamic region growing approach for hand region detection in egocentric videos, by jointly considering hand-related motion and egocentric cues. We first determine seed regions that most likely belong to the hand, by analyzing the motion patterns across successive frames. The hand regions can then be located by extending from the seed regions, according to the scores computed for the adjacent superpixels. These scores are derived from four egocentric cues: contrast, location, position consistency and appearance continuity. We discuss how to apply the proposed method in real-life scenarios, where multiple hands irregularly appear and disappear from the videos. Experimental results on public datasets show that the proposed method achieves superior performance compared with the state-of-the-art methods, especially in complicated scenarios.

研究动机与目标

• 解决在复杂环境中（如存在多只手和动态运动）准确且高效地进行第一视角视频手部检测的挑战。
• 克服现有方法依赖静态背景假设或在复杂场景中计算成本过高的局限性。
• 开发一种能够动态适应手部外观和位置变化、无需预先假设手的数量或运动方式的方法。
• 在检测精度与计算效率之间取得平衡，以实现在资源受限设备上的实时部署。
• 通过整合多种第一视角特有线索，提升在遮挡、杂乱背景和不规则手部外观等挑战性条件下的鲁棒性。

提出的方法

• 通过连续帧间的运动模式分析，基于单应性估计区分相机运动与手部运动，识别可能属于手部的种子区域。
• 从种子区域出发，通过迭代方式将区域扩展至相邻超像素，扩展依据为四个第一视角线索的得分：对比度、位置、位置一致性及外观连续性。
• 结合当前帧与前一帧的空间与外观约束，计算区域生长得分，以确保时序一致性并减少误检。
• 动态初始化、更新和失效外观模型，以适应手部外观的变化，提升在复杂场景中的鲁棒性。
• 引入早期拒绝机制，跳过低分超像素的线索计算，显著提升运行效率。
• 以超像素作为基本图像单元，在分割精度与计算负载之间取得平衡，实现在640×360分辨率下的高效处理。

实验结果

研究问题

• RQ1 在不假设静态背景的前提下，跨帧的运动模式分析能否可靠地区分第一视角视频中的手部区域与相机运动？
• RQ2 与标准外观或基于运动的方法相比，第一视角特有线索（对比度、位置、位置一致性及外观连续性）如何提升区域生长的准确性？
• RQ3 结合自适应外观建模的动态区域生长方法，在存在多只手、遮挡或外观不规则的手部场景中，性能提升程度如何？
• RQ4 所提方法在实时与低资源环境下的检测精度与计算效率之间如何实现平衡？
• RQ5 参数设置（α 和 β）对多样化第一视角视频数据集上检测鲁棒性与性能的影响如何？

主要发现

• 所提方法在公开数据集上表现优异，F1 分数在 ADL 数据集上达到 0.375，在 GTEA 数据集上达到 0.371，显著优于当前最先进方法，尤其在复杂场景中表现突出。
• 在标准 PC（640×360）上运行速度约为 32fps，展现出实时处理能力；即使在旧硬件上（512MB RAM 时为 13fps，2GB RAM 时在 320×240 分辨率下为 38fps）也保持较高效率。
• 参数分析表明对 α 和 β 的变化具有鲁棒性，不同组合下性能波动极小，表明在多种设置下均具稳定性。
• 早期拒绝步骤将计算时间减少约 23ms，且仅导致精度轻微下降（ADL 数据集上性能下降 1.3%），证实其在效率优化中的有效性。
• 消融实验表明，所有四个第一视角线索（尤其是外观连续性和位置一致性）均显著提升检测精度，其中外观连续性在 EgoHands 数据集上影响最大。
• 与现有方法相比，本方法显著提升速度：模型推荐（1s）、混合模型（100ms）、DP-DPM（2s）、R-CNN（9s）及其他区域生长方法（40ms），在保持高精度的同时实现显著加速。