[论文解读] The Supernumerary Robotic 3rd Thumb for Skilled Music Tasks

James Cunningham, Anita Hapsari+3 more|arXiv (Cornell University)|Jul 22, 2018

Advanced Sensor and Energy Harvesting Materials被引用 5

一句话总结

该论文提出了一款超数量机械第三只拇指（SR3T），通过脚控实现动态键盘压力调节与实时运动追踪，使钢琴家的手掌跨度最多可扩展四个半音。新手用户在数小时内即实现11根手指的钢琴演奏，展现出快速的认知具身化与对机械肢体的灵巧控制，适用于高超的音乐演奏任务。

ABSTRACT

Wearable robotics bring the opportunity to augment human capability and performance, be it through prosthetics, exoskeletons, or supernumerary robotic limbs. The latter concept allows enhancing human performance and assisting them in daily tasks. An important research question is, however, whether the use of such devices can lead to their eventual cognitive embodiment, allowing the user to adapt to them and use them seamlessly as any other limb of their own. This paper describes the creation of a platform to investigate this. Our supernumerary robotic 3rd thumb was created to augment piano playing, allowing a pianist to press piano keys beyond their natural hand-span; thus leading to functional augmentation of their skills and the technical feasibility to play with 11 fingers. The robotic finger employs sensors, motors, and a human interfacing algorithm to control its movement in real-time. A proof of concept validation experiment has been conducted to show the effectiveness of the robotic finger in playing musical pieces on a grand piano, showing that naive users were able to use it for 11 finger play within a few hours.

研究动机与目标

• 探究超数量机械肢体是否能够被认知具身化，并在钢琴演奏等高阶运动任务中实现功能性整合。
• 通过增加可按压超出人类自然触达范围的机械拇指，扩展钢琴家的自然手掌跨度。
• 开发一种基于脚部动作的实时、低延迟人机交互界面，以控制机械手指的动力学特性和演奏时机。
• 评估在需要力量调节与高精度控制的复杂、精细任务中，使用超数量机械肢体的可行性。
• 探索在高精度、创造性领域中，机械增强技术的快速学习潜力与长期可用性。

提出的方法

• SR3T 是一种3D打印的机械拇指，安装于用户手腕上，由伺服电机驱动，并配备力传感器与编码器，实现实时反馈。
• 通过固定在用户脚上的加速度计追踪脚部运动，将脚部抬起速度映射为机械手指的键盘按压力度与速度。
• 利用光学运动追踪系统捕捉手部与手指位置，并将其映射到单位球面上，以估算关节角度与运动意图。
• 控制系统采用实时算法，将机械手指的运动与演奏者的双手及脚部输入同步，最大限度降低延迟。
• 使用数据手套追踪自然手部动作，并将其映射至机械手指的运动，实现直观协调。
• 通过立态三角钢琴装置结合实时音频反馈与运动追踪，对系统性能进行验证。

实验结果

研究问题

• RQ1 超数量机械拇指能否被新手用户在短时间内掌握，并在高阶音乐演奏中实现功能性具身化？
• RQ2 基于脚部控制在钢琴演奏中能否实现精确且动态的键盘按压调节？
• RQ3 机械拇指的增加如何扩展钢琴家的有效手掌跨度与触键范围？
• RQ4 在实时音乐演奏过程中，机械手指的响应延迟与精度如何？
• RQ5 该机械肢体是否能无缝使用，而不干扰自然手部动作或音乐表现力？

主要发现

• SR3T 将钢琴家的有效手掌跨度向右扩展最多达3.5个半音，相当于音域扩展四度。
• 新手用户在约一小时练习后即实现功能性11根手指的钢琴演奏，从5指指法逐步过渡至6指指法。
• 平均从运动意图到动作执行的延迟为约85毫秒，表明实现了低延迟的实时控制。
• 在长达两小时的连续测试中，用户报告不适感极低，表明系统具有良好的人体工学集成性。
• 机械手指可实现对白键与黑键的精确且动态的控制，包括快速连续按键。
• 在初始学习阶段后，系统未对自然手部动作造成显著干扰，支持无缝集成。