[论文解读] Finger Grip Force Estimation from Video using Two Stream Approach

Andrey Sartison, Dima Mironov+2 more|arXiv (Cornell University)|Mar 5, 2018

Hand Gesture Recognition Systems参考文献 13被引用 3

一句话总结

本文提出了一种非侵入式、基于双流视频的方法，通过帧的空域特征和光流的时域动态信息，利用卡尔曼滤波进行融合，以估计手指握力。该方法实现了约0.2 N的RMSE（低于传感器量程的10%），无需物理传感器即可实现精确的力估计，适用于机器人教学和触觉反馈系统。

ABSTRACT

Estimation of a hand grip force is essential for the understanding of force pattern during the execution of assembly or disassembly operations. Human demonstration of a correct way of doing an operation is a powerful source of information which can be used for guided robot teaching. Typically to assess this problem instrumented approach is used, which requires hand or object mounted devices and poses an inconvenience for an operator or limits the scope of addressable objects. The work demonstrates that contact force may be estimated using a noninvasive contactless method with the help of vision system alone. We propose a two-stream approach for video processing, which utilizes both spatial information of each frame and dynamic information of frame change. In this work, image processing and machine learning techniques are used along with dense optical flow for frame change tracking and Kalman filter is used for stream fusion. Our studies show that the proposed method can successfully estimate contact grip force with RMSE < 10% of sensor range (RMSE $\approx 0.2$ N), the performances of each stream and overall method performance are reported. The proposed method has a wide range of applications, including robot teaching through demonstration, haptic force feedback, and validation of human- performed operations.

研究动机与目标

• 开发一种无需使用带传感器的工具或标记的非侵入式手指握力估计方法。
• 通过从视频中提取力轮廓，实现在演示基础上的机器人教学。
• 克服在人机交互和机器人拆卸中，侵入式力传感器和基于标记系统存在的局限性。
• 利用视频数据构建人类操作中力与运动的标注数据集。
• 通过融合空域和时域视频流，提升力估计的鲁棒性和准确性。

提出的方法

• 双流卷积神经网络分别处理视频帧中的空域和时域信息。
• 空域流通过图像处理和皮肤分割从单帧中提取静态特征。
• 时域流利用密集光流捕捉运动动态和帧间变化。
• 卡尔曼滤波器将两路输出融合，以降低噪声并提高估计稳定性。
• 信号滤波和图像预处理增强了对光照和运动变化的鲁棒性。
• 使用绿色LED触发器将FSR传感器的真值力数据与视频同步，用于训练和评估。

实验结果

研究问题

• RQ1 仅从视频中能否准确估计手指握力，而无需物理传感器或标记？
• RQ2 空域和时域视频流在力估计中的性能表现如何比较？
• RQ3 通过卡尔曼滤波融合空域和时域流是否能提升估计的准确性和鲁棒性？
• RQ4 该方法对光照变化、手部朝向和缓慢的力变化有多敏感？
• RQ5 该方法在不同个体和物体类型之间具有多大程度的泛化能力？

主要发现

• 所提出的双流方法实现了约0.2 N的RMSE，占传感器量程的不足10%。
• 空域流在不同力大小下表现稳定，而时域流在缓慢力变化时表现不佳。
• 通过卡尔曼滤波融合后，整体性能得到提升，且对输出幅值的敏感性降低。
• 时域流的性能几乎与完整模型相当，表明仅运动动态本身即蕴含丰富的力相关信息。
• 该方法对光照变化具有鲁棒性，但手部运动和皮肤颜色响应延迟会影响性能。
• 该系统适用于机器人教学和自动化拆卸中的力反馈，尤其适用于智能手机及类似电子产品。