[论文解读] Driver Hand Localization and Grasp Analysis: A Vision-based Real-time Approach

Siddharth, Akshay Rangesh+2 more|arXiv (Cornell University)|Feb 22, 2018

Hand Gesture Recognition Systems被引用 13

一句话总结

本文提出了一种基于视觉的实时驾驶员手部定位与抓握分析系统，采用两阶段流水线：首先，使用快速卷积神经网络（ConvNet）检测候选手部区域，随后通过全局光照感知的皮肤分类器将检测结果精炼为精确的像素级手部掩码。该方法实现了35 fps的推理速度，在光照变化和遮挡等复杂自然驾驶环境下，优于当前最先进的手部检测器，能够准确分类抓握状态（方向盘、手机或无抓握）。

ABSTRACT

Extracting hand regions and their grasp information from images robustly in real-time is critical for occupants' safety and in-vehicular infotainment applications. It must however, be noted that naturalistic driving scenes suffer from rapidly changing illumination and occlusion. This is aggravated by the fact that hands are highly deformable objects, and change in appearance frequently. This work addresses the task of accurately localizing driver hands and classifying the grasp state of each hand. We use a fast ConvNet to first detect likely hand regions. Next, a pixel-based skin classifier that takes into account the global illumination changes is used to refine the hand detections and remove false positives. This step generates a pixel-level mask for each hand. Finally, we study each such masked regions and detect if the driver is grasping the wheel, or in some cases a mobile phone. Through evaluation we demonstrate that our method can outperform state-of-the-art pixel based hand detectors, while running faster (at 35 fps) than other deep ConvNet based frameworks even for grasp analysis. Hand mask cues are shown to be crucial when analyzing a set of driver hand gestures (wheel/mobile phone grasp and no-grasp) in naturalistic driving settings. The proposed detection and localization pipeline hence can act as a general framework for real-time hand detection and gesture classification.

研究动机与目标

• 解决在光照变化和遮挡条件下，实时可靠检测驾驶员手部的挑战。
• 克服传统手部检测器在自然驾驶场景中因手部形变和外观频繁变化而存在的局限性。
• 构建一个不仅能定位手部，还能分类抓握状态（如方向盘、手机）的框架，以支持安全与信息娱乐应用。
• 通过将光照不变的皮肤分类与基于深度学习的手部提议相结合，提升检测精度。
• 设计一种通用的实时手部检测与手势分类流水线，适用于车载人机交互场景。

提出的方法

• 使用轻量级卷积神经网络（ConvNet）实时生成可能包含手部的候选区域。
• 应用考虑全局光照变化的像素级皮肤分类器，以优化手部检测并减少误报。
• 通过结合深度特征与光照鲁棒的皮肤分割，生成精确的像素级手部掩码。
• 分析每个分割出的手部掩码，以分类抓握状态，包括抓握方向盘或手机。
• 将检测与分类流水线整合为一个端到端框架，专为实时性能优化。
• 利用手部掩码特征作为关键特征，以在复杂驾驶场景中区分不同驾驶员手势。

实验结果

研究问题

• RQ1 基于视觉的系统是否能在具有动态光照和遮挡的自然驾驶环境中实现实时光照下手部定位？
• RQ2 光照感知的皮肤分类器在不同光照条件下对提升手部检测精度有多大的有效性？
• RQ3 与仅基于边界框的方法相比，手部掩码表示在多大程度上提升了抓握状态分类的性能？
• RQ4 两阶段深度学习流水线是否能在保持高推理速度的同时超越当前最先进的手部检测器？
• RQ5 该系统在真实世界驾驶场景中对不同抓握状态（如方向盘抓握、手机抓握、无抓握）的泛化能力如何？

主要发现

• 所提方法实现了35帧每秒（fps）的推理速度，优于其他基于深度卷积神经网络的框架。
• 光照感知的皮肤分类器显著减少了手部检测中的误报，尤其在光照快速变化时表现更优。
• 与仅使用边界框检测相比，像素级手部掩码显著提升了抓握分类的准确性。
• 在具有挑战性的驾驶条件下，系统性能优于当前最先进的基于像素的手部检测器。
• 手部掩码特征在真实世界驾驶环境中对区分细微抓握状态（如方向盘抓握与手机抓握）至关重要。
• 由于结合了深度特征与光照不变的皮肤建模，该框架对遮挡和外观变化具有强鲁棒性。