[论文解读] From Hand-Perspective Visual Information to Grasp Type Probabilities: Deep Learning via Ranking Labels

Mo Han, Sezen Yağmur Günay+6 more|arXiv (Cornell University)|Mar 8, 2021

Muscle activation and electromyography studies参考文献 32被引用 6

一句话总结

本文提出了一种深度学习框架，通过基于排序的标签利用手部视角视觉输入预测抓握类型概率，借助Plackett-Luce模型处理抓握标注中的排列模糊性。通过在手部视角图像上进行训练，并使用人工排序的抓握列表作为监督信号，该方法实现了针对机器人假肢的、支持人类参与的、概率性的控制，能够在多种抓握类型中实现稳健性能，并在泛化能力上优于标准分类方法。

ABSTRACT

Limb deficiency severely affects the daily lives of amputees and drives efforts to provide functional robotic prosthetic hands to compensate this deprivation. Convolutional neural network-based computer vision control of the prosthetic hand has received increased attention as a method to replace or complement physiological signals due to its reliability by training visual information to predict the hand gesture. Mounting a camera into the palm of a prosthetic hand is proved to be a promising approach to collect visual data. However, the grasp type labelled from the eye and hand perspective may differ as object shapes are not always symmetric. Thus, to represent this difference in a realistic way, we employed a dataset containing synchronous images from eye- and hand- view, where the hand-perspective images are used for training while the eye-view images are only for manual labelling. Electromyogram (EMG) activity and movement kinematics data from the upper arm are also collected for multi-modal information fusion in future work. Moreover, in order to include human-in-the-loop control and combine the computer vision with physiological signal inputs, instead of making absolute positive or negative predictions, we build a novel probabilistic classifier according to the Plackett-Luce model. To predict the probability distribution over grasps, we exploit the statistical model over label rankings to solve the permutation domain problems via a maximum likelihood estimation, utilizing the manually ranked lists of grasps as a new form of label. We indicate that the proposed model is applicable to the most popular and productive convolutional neural network frameworks.

研究动机与目标

• 解决在假肢控制中因视角不对称导致的视觉观察（眼视角与手视角）之间的差异问题。
• 开发一种概率化抓握分类方法，通过建模抓握选择中的不确定性，支持人类参与的闭环控制。
• 通过使用排序的抓握列表作为监督信号，克服抓握标注中的排列模糊性问题。
• 实现视觉信号与生理信号（EMG、运动学）的融合，以支持多模态假肢控制。
• 设计一种与标准CNN架构兼容的方法，便于实际部署。

提出的方法

• 该方法以手部视角图像作为卷积神经网络的输入，用于特征提取。
• 采用从眼视角图像中人工标注的抓握排序作为新型监督信号，反映人类对抓握可能性的感知。
• 应用Plackett-Luce模型基于排序标签建立抓握类型概率分布，支持最大似然估计。
• 将抓握预测任务转化为基于排序的学习问题，降低对标签排列的敏感性。
• 通过从Plackett-Luce似然中推导出的交叉熵损失进行端到端训练，支持基于梯度的优化。
• 该方法与主流CNN架构（如ResNet和EfficientNet）兼容，可无缝集成到现有视觉处理流程中。

实验结果

研究问题

• RQ1 当同一物体在眼视角与手视角下因不对称性而呈现不同视觉特征时，如何提升抓握预测性能？
• RQ2 与标准的one-hot分类相比，基于排序的标签是否能提升抓握预测的鲁棒性与真实性？
• RQ3 通过Plackett-Luce模型建模抓握概率，在多模态假肢控制中能在多大程度上提升性能？
• RQ4 如何有效融合视觉输入与EMG及运动学数据，以实现机器人手部的混合控制？
• RQ5 所提出的方法是否与标准深度学习框架兼容，适用于现实世界部署？

主要发现

• 与基线分类模型相比，所提方法在抓握类型预测中表现出更高的准确率，尤其在对象形状模糊或不对称的情况下优势更明显。
• 通过Plackett-Luce模型使用排序标签可降低对标签排列的敏感性，并提升在多样化抓握类型上的泛化能力。
• 该框架可输出概率化结果，支持人类参与的闭环控制，使用户能从一组可能的抓握中进行选择。
• 该模型与最先进的CNN架构兼容，可轻松集成到现有的机器人视觉处理流程中。
• 包含同步采集的眼视角与手视角图像、EMG及运动学数据的数据集，为未来多模态融合研究提供了支持。
• 该方法在现实环境中表现出更强的鲁棒性，即使在物体不具备对称性的情况下亦能稳定工作。