[论文解读] From the decoding of cortical activities to the control of a JACO robotic arm: a whole processing chain

Laurent Bougrain, Olivier Rochel+2 more|arXiv (Cornell University)|Dec 1, 2012

EEG and Brain-Computer Interfaces被引用 8

一句话总结

本文提出了一套完整的实时脑机接口（BMI）流程，能够从猴子运动皮层的皮层内动作电位发放序列中解码出控制JACO机械臂的指令。系统采用OpenViBE进行信号处理，并通过自定义的TCP/IP客户端/服务器协议，将预测的指尖位置转换为机械臂指令，显著降低延迟，通过比例反馈实现稳定闭环控制，相较于以往基于VRPN的方法，系统模块化程度更高。

ABSTRACT

This paper presents a complete processing chain for decoding intracranial data recorded in the cortex of a monkey and replicates the associated movements on a JACO robotic arm by Kinova. We developed specific modules inside the OpenViBE platform in order to build a Brain-Machine Interface able to read the data, compute the position of the robotic finger and send this position to the robotic arm. More pre- cisely, two client/server protocols have been tested to transfer the finger positions: VRPN and a light protocol based on TCP/IP sockets. According to the requested finger position, the server calls the associ- ated functions of an API by Kinova to move the fin- gers properly. Finally, we monitor the gap between the requested and actual fingers positions. This chain can be generalized to any movement of the arm or wrist.

研究动机与目标

• 开发一个完整的端到端处理链，将皮层内神经信号转换为机械臂运动指令。
• 解决现有脑机接口（BMI）系统中因使用VRPN协议进行机械控制而产生的高延迟问题。
• 利用从神经动作电位发放序列中解码出的指尖运动轨迹，实现实时、闭环控制JACO机械臂。
• 通过用轻量级基于套接字的TCP/IP协议替代VRPN，提升系统模块化程度并降低对外部库的依赖。
• 通过灵长类模型执行精密抓握任务验证系统性能，该方法可推广至手腕和手臂运动控制。

提出的方法

• 系统使用OpenViBE处理来自猕猴运动皮层（区域4）33个皮层运动神经元的颅内记录，采样率从200 kHz下采样至500 Hz。
• 采用一阶线性模型，基于神经元放电率、阈值、同步性及夹持器位置变化，预测指尖位置轨迹。
• OpenViBE处理流程生成目标指尖位置，并通过自定义TCP/IP套接字协议发送至基于C#的服务器。
• 服务器使用Kinova JACO API（v.3.5）向机械臂手指发送底层运动指令，实现实时控制。
• 在机械臂端实现比例反馈控制系统，以校正请求位置与实际位置之间的延迟。
• 系统用更简单、低延迟的TCP/IP方案替代原有VRPN接口，提升响应速度并降低对外部库的依赖。

实验结果

研究问题

• RQ1 能否通过实时BMI流程将皮层内动作电位发放序列解码为精确的指尖运动指令以实现机械控制？
• RQ2 将VRPN协议替换为自定义TCP/IP套接字接口后，对系统延迟和控制稳定性有何影响？
• RQ3 比例反馈控制器在多大程度上可缓解BMI系统中因传输延迟导致的位置跟踪误差？
• RQ4 OpenViBE平台能否有效扩展以处理非标准数据类型（如动作电位发放序列）及实时机械控制输出？
• RQ5 所提出的处理链是否可推广至全臂和手腕运动控制，而不仅限于指尖控制？

主要发现

• 基于TCP/IP的客户端/服务器协议相比先前的VRPN系统显著降低了延迟，提升了实时响应能力。
• 使用原始API时，观察到请求位置与实际位置之间存在数百毫秒的显著延迟，导致控制回路出现振荡。
• 在机械臂端实现比例反馈控制器后，系统得到稳定，跟踪误差显著降低。
• 系统成功复现了来自神经数据的精密抓握动作，证明了使用JACO机械臂实现闭环控制的可行性。
• OpenViBE的模块化设计使得能够集成自定义数据格式（如动作电位发放序列）和非VRPN输出协议，验证了其可扩展性。
• 预计新版Kinova API将减少传输延迟，有望进一步提升控制性能。