[论文解读] Adaptive Grasp Control through Multi-Modal Interactions for Assistive Prosthetic Devices

Michelle Esponda, Thomas M. Howard|arXiv (Cornell University)|Oct 18, 2018

Muscle activation and electromyography studies参考文献 28被引用 4

一句话总结

本文提出了一种自适应假肢手控制系境，通过肌电图信号、视觉、触觉和语音等多种模态输入学习用户偏好，实现实时抓握适应。通过在触摸屏和语音命令中引入现场反馈，系统提升了抓握分类准确率，在120个训练样本后对新型香蕉物体的正确抓握概率达到78%，展示了个性化、交互式学习在假肢控制中的应用。

ABSTRACT

The hand is one of the most complex and important parts of the human body. The dexterity provided by its multiple degrees of freedom enables us to perform many of the tasks of daily living which involve grasping and manipulating objects of interest. Contemporary prosthetic devices for people with transradial amputations or wrist disarticulation vary in complexity, from passive prosthetics to complex devices that are body or electrically driven. One of the important challenges in developing smart prosthetic hands is to create devices which are able to mimic all activities that a person might perform and address the needs of a wide variety of users. The approach explored here is to develop algorithms that permit a device to adapt its behavior to the preferences of the operator through interactions with the wearer. This device uses multiple sensing modalities including muscle activity from a myoelectric armband, visual information from an on-board camera, tactile input through a touchscreen interface, and speech input from an embedded microphone. Presented within this paper are the design, software and controls of a platform used to evaluate this architecture as well as results from experiments deigned to quantify the performance.

研究动机与目标

• 为解决个性化假肢控制的挑战，使设备能够适应个体用户偏好。
• 通过减少对预先映射的肌电信号模式的依赖，降低用户认知负荷，实现交互式学习。
• 利用多模态感官反馈，提升对多样化和新型物体的抓握分类准确率。
• 开发一种实时、设备端学习框架，整合触觉与语音反馈，实现模型的持续优化。
• 构建一种稳健、用户自适应的假肢控制系境，支持长期定制化与可用性。

提出的方法

• 系统使用来自肌电图臂带的表面肌电图（sEMG）检测前臂肌肉活动，并推断预期的抓握类型。
• 卷积神经网络（CNN）处理来自机载摄像头的视觉输入，以分类物体形状并建议合适的抓握类型。
• 通过佩戴在前臂上的触摸屏收集触觉反馈，使用户能够实时纠正抓握预测。
• 通过腕部麦克风获取的语音输入支持自然语言纠正，例如“尝试不同的握持方式”。
• 混合控制器结合基于肌电图的预测与视觉及反馈输入，利用神经网络根据新训练样本更新抓握模型。
• 系统使用新获取的现场数据对抓握分类器进行离线再训练，以随时间提升模型准确率。

实验结果

研究问题

• RQ1 假肢手系统能否通过用户提供的实时多模态反馈学习并适应抓握偏好？
• RQ2 与仅依赖肌电图控制相比，整合触觉和语音反馈在多大程度上提升了抓握分类准确率？
• RQ3 系统在多大程度上能通过现场学习为新型或不熟悉物体个性化抓握行为？
• RQ4 通过用户反馈新增的训练样本，如何影响模型在不同物体类型间的泛化能力？
• RQ5 机载多模态交互能否实现无需预编程映射的自我改进型假肢控制系境？

主要发现

• 初始训练后，系统对球形（苹果）、圆柱形（水杯）、钩形（水壶）和侧向（果冻盒）物体的抓握类型分类准确率很高。
• 最初，用于夹持抓握的骰子仅正确分类了10%的时间，而汤匙（三指抓握）从未被正确分类。
• 在增加了20个香蕉（新型物体）的训练样本后，模型将正确预测三指抓握的概率从0%提升至16%。
• 在收集并重新训练120张香蕉图像后，系统实现了78%的概率正确推断出所需的三指抓握。
• 新增数据也提升了对先前已训练物体的抓握分类准确率：汤匙的正确抓握概率从0%上升至45%，骰子从10%上升至29%。
• 系统成功在真实物体上执行了全部六种抓握类型（球形、圆柱形、钩形、侧向、夹持、三指），如图10(d)所示。