[论文解读] A Portable, Self-Contained Neuroprosthetic Hand with Deep Learning-Based Finger Control

Anh Tuan Nguyen, Markus W. Drealan+7 more|arXiv (Cornell University)|Mar 24, 2021

Muscle activation and electromyography studies参考文献 38被引用 45

一句话总结

该论文提出了一种便携式、自包含的神经假肢手系统，采用基于深度学习的循环神经网络（RNN）解码器部署在NVIDIA Jetson Nano边缘计算平台上，实现实时、高精度（95–99%）的经桡侧截肢者周围神经信号控制单个手指运动。该系统在多种环境中均实现了低延迟（50–120 ms）性能，证明了在可穿戴、临床级神经假肢中嵌入人工智能驱动的神经解码的可行性。

ABSTRACT

Objective: Deep learning-based neural decoders have emerged as the prominent approach to enable dexterous and intuitive control of neuroprosthetic hands. Yet few studies have materialized the use of deep learning in clinical settings due to its high computational requirements. Methods: Recent advancements of edge computing devices bring the potential to alleviate this problem. Here we present the implementation of a neuroprosthetic hand with embedded deep learning-based control. The neural decoder is designed based on the recurrent neural network (RNN) architecture and deployed on the NVIDIA Jetson Nano - a compacted yet powerful edge computing platform for deep learning inference. This enables the implementation of the neuroprosthetic hand as a portable and self-contained unit with real-time control of individual finger movements. Results: The proposed system is evaluated on a transradial amputee using peripheral nerve signals (ENG) with implanted intrafascicular microelectrodes. The experiment results demonstrate the system's capabilities of providing robust, high-accuracy (95-99%) and low-latency (50-120 msec) control of individual finger movements in various laboratory and real-world environments. Conclusion: Modern edge computing platforms enable the effective use of deep learning-based neural decoders for neuroprosthesis control as an autonomous system. Significance: This work helps pioneer the deployment of deep neural networks in clinical applications underlying a new class of wearable biomedical devices with embedded artificial intelligence.

研究动机与目标

• 为解决在便携式、实时神经假肢系统中部署计算密集型深度学习神经解码器的临床挑战。
• 克服传统低计算量方法（如KNN、卡尔曼滤波器）在实现灵巧、直观的假肢手控制方面的局限性。
• 证明在紧凑的边缘计算平台上实现完整深度学习推理流程（训练、部署和实时解码）的可行性，该平台适用于长期临床使用。
• 将神经解码与完全自包含、可穿戴的系统集成，可直接安装在现有假肢接受腔上。
• 通过设备端处理实现在真实世界和动态环境中的直观、多指控制。

提出的方法

• 神经解码器基于循环神经网络（RNN）架构，通过植入的神经束内微电极记录的周围神经信号（ENG）进行训练，以解码运动意图。
• RNN模型部署在NVIDIA Jetson Nano上，该设备为紧凑型边缘计算设备，具备GPU加速功能，可在无需依赖外部服务器的情况下实现实时推理。
• 定制印刷电路板（PCB）将Jetson Nano与神经记录和刺激电子设备集成，包括用于双向神经接口的Neuronix微芯片。
• 系统通过重叠分段处理1秒长的神经数据窗口，以最小化延迟，并支持对单个手指运动的实时控制。
• 整个系统由7.4V、2,200mAh的锂离子电池供电，重量为210g，可作为自包含单元佩戴在经桡侧假肢接受腔上。
• 软件栈包括支持CUDA的深度学习框架（TensorFlow、PyTorch）以及针对滤波和特征提取优化的预处理流水线。

实验结果

研究问题

• RQ1 能否在便携式边缘计算平台上有效部署基于深度学习的神经解码器，以实现实时神经假肢控制？
• RQ2 此类系统能否在实验室和真实世界环境中，利用截肢者的周围神经信号，实现高精度和低延迟？
• RQ3 与传统解码方法相比，嵌入式RNN解码器在灵巧性和响应速度方面表现如何？
• RQ4 当前边缘硬件（如Jetson Nano）在支持复杂、实时深度学习推理用于神经假肢方面存在哪些实际限制？
• RQ5 设备端处理在多大程度上能够实现AI驱动神经假肢的长期、自主使用？

主要发现

• 在经桡侧截肢者的真实控制过程中，该系统实现了从周围神经信号解码单个手指运动的95–99%准确率。
• 从神经信号采集到电动手指运动启动，系统表现出50–120毫秒的低延迟性能。
• 系统在多种手臂和身体姿势下均保持稳定，且在数小时连续运行的实验室和真实世界环境中表现稳健。
• 截肢者表示该系统感觉直观自然，与生物手功能相似，并对其在日常使用中的潜力表示高度信心。
• Jetson Nano的集成实现了完整的设备端处理，消除了对外部计算的依赖，实现了真正的便携性和自包含性。
• 尽管存在硬件限制，系统性能仍得以维持，表明现代边缘平台能够支持复杂深度学习模型用于临床神经假肢。