[논문 리뷰] A Portable, Self-Contained Neuroprosthetic Hand with Deep Learning-Based Finger Control

Anh Tuan Nguyen, Markus W. Drealan외 7명|arXiv (Cornell University)|2021. 03. 24.

Muscle activation and electromyography studies참고 문헌 38인용 수 45

한 줄 요약

이 논문은 NVIDIA Jetson Nano 엣지 컴퓨팅 플랫폼에 배포된 딥러닝 기반 순환 신경망(RNN) 디코더를 사용하여 전방위 신경 신호에서 개별 손가락 운동을 실시간으로 고정밀도(95–99%)로 제어할 수 있는 이식성 있고 자체적으로 기능하는 신경의족 수단을 제시한다. 이 시스템은 다양한 환경에서 저지연(50–120 ms) 성능을 달성하여 AI 기반 신경 디코딩을 착용형 임상 수준의 신경의족에 통합하는 것이 가능함을 보여준다.

ABSTRACT

Objective: Deep learning-based neural decoders have emerged as the prominent approach to enable dexterous and intuitive control of neuroprosthetic hands. Yet few studies have materialized the use of deep learning in clinical settings due to its high computational requirements. Methods: Recent advancements of edge computing devices bring the potential to alleviate this problem. Here we present the implementation of a neuroprosthetic hand with embedded deep learning-based control. The neural decoder is designed based on the recurrent neural network (RNN) architecture and deployed on the NVIDIA Jetson Nano - a compacted yet powerful edge computing platform for deep learning inference. This enables the implementation of the neuroprosthetic hand as a portable and self-contained unit with real-time control of individual finger movements. Results: The proposed system is evaluated on a transradial amputee using peripheral nerve signals (ENG) with implanted intrafascicular microelectrodes. The experiment results demonstrate the system's capabilities of providing robust, high-accuracy (95-99%) and low-latency (50-120 msec) control of individual finger movements in various laboratory and real-world environments. Conclusion: Modern edge computing platforms enable the effective use of deep learning-based neural decoders for neuroprosthesis control as an autonomous system. Significance: This work helps pioneer the deployment of deep neural networks in clinical applications underlying a new class of wearable biomedical devices with embedded artificial intelligence.

연구 동기 및 목표

• 계산 비용이 큰 딥러닝 신경 디코더를 이식성이고 실시간 작동하는 신경의족 시스템에 구현하는 데 있어 임상적 과제를 해결하기 위해.
• 기존의 저연산 방법(예: KNN, 칼만 필터)이 다용도이고 직관적인 의족 손의 제어를 달성하는 데 한계를 보이는 문제를 극복하기 위해.
• 학습, 구현, 실시간 디코딩을 포함한 전체 딥러닝 추론 파이프라인을 장기적인 임상 사용에 적합한 소형 엣지 기반 플랫폼에 통합하는 것이 가능함을 입증하기 위해.
• 기존 의족 소켓에 부착할 수 있는 완전히 자체적으로 기능하는 착용형 시스템과 함께 신경 디코딩을 통합하기 위해.
• 온디바이스 처리를 통해 실생활 및 동적인 환경에서 직관적인 다손가락 제어를 가능하게 하기 위해.

제안 방법

• 신경 디코더는 이식된 내신경 섬유 내부 전극을 통해 확보한 주변 신경 신호(ENG)의 신경 기록을 기반으로 운동 의도를 디코딩하도록 훈련된 순환 신경망(RNN) 아키텍처에 기반한다.
• RNN 모델은 GPU 가속 기능을 갖춘 소형 엣지 컴퓨팅 장치인 NVIDIA Jetson Nano에 배포되어 외부 서버에 의존하지 않고 실시간 추론이 가능하도록 한다.
• 맞춤형 프린팅 회로 기판(PCB)은 Jetson Nano와 신경 기록 및 자극 전자 회로를 통합하며, 이중 방향 신경 인터페이싱을 위한 Neuronix 마이크로칩을 포함한다.
• 시스템은 지연을 최소화하기 위해 겹치는 세그먼트를 포함한 1초 창 단위의 신경 데이터를 처리하며, 개별 손가락 운동의 실시간 제어를 지원한다.
• 전체 시스템은 7.4V, 2,200mAh 리튬이온 배터리로 구동되며 무게는 210g으로, 전방위 의족 소켓에 자체적으로 기능하는 단위로 착용할 수 있다.
• 소프트웨어 스택에는 CUDA를 지원하는 딥러닝 프레임워크(TensorFlow, PyTorch)와 필터링 및 특징 추출을 최적화한 사전 처리 파이프라인을 포함한다.

실험 결과

연구 질문

• RQ1 딥러닝 기반 신경 디코더가 실시간 신경의족 제어를 위해 이식성 엣지 컴퓨팅 플랫폼에 효과적으로 구현될 수 있는가?
• RQ2 이러한 시스템이 암환자로부터 확보한 주변 신경 신호를 사용하여 실험실 및 실생활 환경 모두에서 높은 정확도와 저지연을 달성할 수 있는가?
• RQ3 기존의 디코딩 방법과 비교할 때 임베디드 RNN 디코더의 다용도성과 반응성은 어떠한가?
• RQ4 현재 엣지 하드웨어(예: Jetson Nano)가 신경의족을 위한 복잡한 실시간 딥러닝 추론을 지원하는 데 있어 실질적인 제약은 무엇인가?
• RQ5 온디바이스 처리가 AI 기반 신경의족의 장기적이고 자율적인 사용을 얼마나까지 가능하게 하는가?

주요 결과

• 시스템은 전방위 암환자에서 주변 신경 신호를 통해 개별 손가락 운동을 실시간 제어하는 데 95–99%의 정확도를 달성했다.
• 신경 신호 수신에서 모터리제이터 손가락 운동 시작까지 50–120밀리초의 저지연 성능을 보였다.
• 수 시간에 걸쳐 지속적인 운영 동안 다양한 팔과 신체 자세, 실험실 및 실생활 환경 모두에서 안정적인 성능 유지를 보였다.
• 암환자는 시스템이 직관적이고 자연스럽다고 평가했으며, 생물학적 손과 유사한 기능을 한다고 느꼈고, 일상적 사용 가능성에 강한 자신감을 보였다.
• Jetson Nano의 통합은 전체 온디바이스 처리를 가능하게 하여 외부 컴퓨팅에 대한 의존도를 제거하고 진정한 이식성과 자가 통합성을 실현했다.
• 하드웨어 제약에도 불구하고 성능이 유지된 점은 현대의 엣지 플랫폼이 임상용 신경의족을 위한 복잡한 딥러닝 모델을 지원할 수 있음을 시사한다.