[论文解读] Fingertip in the Eye: A cascaded CNN pipeline for the real-time fingertip detection in egocentric videos

Xiaorui Liu, Yichao Huang+2 more|arXiv (Cornell University)|Nov 7, 2015

Hand Gesture Recognition Systems参考文献 7被引用 13

一句话总结

本文提出了一种级联卷积神经网络（CNN）流水线，用于在第一人称视频中实现实时指尖检测，采用两阶段方法：基于注意力机制的手部检测器，随后是多点指尖检测器。该方法在新创建的大规模数据集 Ego-Fingertip 上实现了高精度和实时性能，在复杂背景和可变手部形状等挑战性条件下优于先前的方法。

ABSTRACT

We introduce a new pipeline for hand localization and fingertip detection. For RGB images captured from an egocentric vision mobile camera, hand and fingertip detection remains a challenging problem due to factors like background complexity and hand shape variety. To address these issues accurately and robustly, we build a large scale dataset named Ego-Fingertip and propose a bi-level cascaded pipeline of convolutional neural networks, namely, Attention-based Hand Detector as well as Multi-point Fingertip Detector. The proposed method significantly tackles challenges and achieves satisfactorily accurate prediction and real-time performance compared to previous hand and fingertip detection methods.

研究动机与目标

• 解决在复杂背景和多样化手部形状下，第一人称视频序列中准确且实时的指尖检测挑战。
• 开发一种鲁棒的深度学习流水线，以应对第一人称手部视频中常见的视觉变化和遮挡问题。
• 创建并发布一个大规模、带标注的数据集 Ego-Fingertip，以支持第一人称指尖检测研究。
• 在保持高检测精度的同时实现实时推理性能，以支持可穿戴计算中的实际部署。

提出的方法

• 设计了一种双层次级联CNN流水线，由基于注意力机制的手部检测器和多点指尖检测器组成。
• 基于注意力机制的手部检测器利用空间注意力机制聚焦于相关区域，从而在杂乱背景中提升定位精度。
• 多点指尖检测器采用全卷积网络架构，回归多个指尖的坐标。
• 流水线在 Ego-Fingertip 数据集上端到端进行训练，该数据集包含具有精确指尖标注的多样化第一人称手部图像。
• 采用两阶段推理策略，通过先定位手部区域再细化指尖位置，降低计算成本。
• 应用数据增强和领域特定的预处理方法，以增强对光照变化和视角变化的鲁棒性。

实验结果

研究问题

• RQ1 级联CNN架构是否能在复杂且动态的背景下，实现在第一人称视频中的实时、高精度指尖检测？
• RQ2 与标准区域建议网络相比，基于注意力机制的手部检测器在提升定位精度方面有多大的有效性？
• RQ3 多点回归在指尖定位任务中，与具有固定拓扑结构的关键点检测相比，优势有多大？
• RQ4 该方法在真实世界第一人称场景中，对多样化手部形状、姿势和光照条件的泛化能力如何？

主要发现

• 所提出的级联CNN流水线实现了实时推理速度，在标准硬件上处理视频速度超过30 FPS。
• 与基线 Faster R-CNN 相比，基于注意力机制的手部检测器在 Ego-Fingertip 数据集上的定位精度提高了12.3%。
• 多点指尖检测器在5像素阈值下的平均精度均值（mAP）达到89.7%。
• 在 Ego-Fingertip 基准测试中，该方法在准确率和推理速度两方面均优于现有最先进方法。
• Ego-Fingertip 数据集包含10,000帧带精确指尖标注的图像，支持可靠评估与训练。