[論文レビュー] A Portable, Self-Contained Neuroprosthetic Hand with Deep Learning-Based Finger Control

Anh Tuan Nguyen, Markus W. Drealan+7 more|arXiv (Cornell University)|Mar 24, 2021

Muscle activation and electromyography studies参考文献 38被引用数 45

ひとこと要約

本論文は、NVIDIA Jetson Nanoエッジコンピューティングプラットフォームにデプロイされた深層学習ベースの再帰ニューラルネットワーク（RNN）デコーダーを用いて、上腕骨下切断肢の被験者からの末梢神経信号から、リアルタイムで高精度（95–99%）な個々の指の動きを制御する、ポータブルで自己完結型の神経義肢手を提示する。このシステムは多様な環境下でも低遅延（50–120 ms）の性能を達成し、AI駆動の神経デコーディングを埋め込むウェアラブルで臨床用の神経義肢の実現可能性を示している。

ABSTRACT

Objective: Deep learning-based neural decoders have emerged as the prominent approach to enable dexterous and intuitive control of neuroprosthetic hands. Yet few studies have materialized the use of deep learning in clinical settings due to its high computational requirements. Methods: Recent advancements of edge computing devices bring the potential to alleviate this problem. Here we present the implementation of a neuroprosthetic hand with embedded deep learning-based control. The neural decoder is designed based on the recurrent neural network (RNN) architecture and deployed on the NVIDIA Jetson Nano - a compacted yet powerful edge computing platform for deep learning inference. This enables the implementation of the neuroprosthetic hand as a portable and self-contained unit with real-time control of individual finger movements. Results: The proposed system is evaluated on a transradial amputee using peripheral nerve signals (ENG) with implanted intrafascicular microelectrodes. The experiment results demonstrate the system's capabilities of providing robust, high-accuracy (95-99%) and low-latency (50-120 msec) control of individual finger movements in various laboratory and real-world environments. Conclusion: Modern edge computing platforms enable the effective use of deep learning-based neural decoders for neuroprosthesis control as an autonomous system. Significance: This work helps pioneer the deployment of deep neural networks in clinical applications underlying a new class of wearable biomedical devices with embedded artificial intelligence.

研究の動機と目的

• 計算負荷の高い深層学習神経デコーダーをポータブルでリアルタイムの神経義肢システムに実装するという臨床的課題に対処すること。
• 従来の低計算負荷手法（例：KNN、カルマンフィルタ）の限界を克服し、義手の機敏で直感的な制御を実現すること。
• トレーニング、デプロイ、リアルタイムデコーディングを含む完全な深層学習推論パイプラインを、長期的な臨床的利用に適したコンactなエッジベースのプラットフォームに埋め込むことの実現可能性を示すこと。
• 既存の義手ソケットに取り付け可能な完全に自己完結型のウェアラブルシステムに神経デコーディングを統合すること。
• オンデバイス処理を通じて、現実世界および動的環境下での直感的でマルチフィンガーコントロールを可能にすること。

提案手法

• 神経デコーダーは、インプラントされた筋束内マイクロエレクトロードを介して取得した末梢神経信号（ENG）の神経記録から運動意図をデコードする目的で訓練された再帰ニューラルネットワーク（RNN）アーキテクチャに基づく。
• RNNモデルは、GPUアクセラレーションを備えたコンactなエッジコンピューティングデバイスであるNVIDIA Jetson Nanoにデプロイされ、外部サーバーに依存せずにリアルタイム推論を可能にする。
• 独自に設計したプリント回路基板（PCB）は、Jetson Nanoと神経記録・刺激用電子回路を統合しており、双方向神経インターフェースを実現するNeuronixマイクロチップを含む。
• システムは1秒間の神経データウィンドウを重複セグメントで処理することで遅延を最小限に抑え、個々の指の動きのリアルタイム制御をサポートする。
• システム全体は7.4V、2,200mAhのリチウムイオン電池で駆動され、210gの重量であるため、上腕骨下義手ソケットに自己完結型ユニットとして装着可能である。
• ソフトウェアスタックにはCUDA対応の深層学習フレームワーク（TensorFlow、PyTorch）と、フィルタリングおよび特徴抽出の最適化された前処理パイプラインが含まれる。

実験結果

リサーチクエスチョン

• RQ1 計算負荷の高い深層学習ベースの神経デコーダーは、ポータブルでエッジコンピューティングプラットフォームに効果的にデプロイ可能か？
• RQ2 このようなシステムは、切断肢被験者からの末梢神経信号を用いて、ラボ環境および現実世界の両方で高精度かつ低遅延を達成できるか？
• RQ3 埋め込みRNNデコーダーの性能は、従来のデコーディング手法と比較して、機敏さと反応性の面で優れているか？
• RQ4 現在のエッジハードウェア（例：Jetson Nano）は、神経義肢用に複雑でリアルタイムの深層学習推論をサポートする上で、どのような実用的制限を有するか？
• RQ5 オンデバイス処理は、AI駆動の神経義肢の長期的・自律的利用をどの程度可能にするか？

主な発見

• 被験者が上腕骨下切断肢である状態で、末梢神経信号から個々の指の動きをリアルタイム制御する際、95–99%の高精度を達成した。
• 神経信号の取得からモーター駆動の指の動き開始までの遅延が50–120ミリ秒の低遅延性能を示した。
• 数時間にわたる連続運用において、さまざまな腕や体の姿勢、ラボ環境および現実世界の両方で、安定した性能を維持した。
• 被験者は、システムが生物学的左手のように直感的で自然に感じられ、日常的利用の可能性に強い信頼を寄せた。
• Jetson Nanoの統合により、完全なオンデバイス処理が実現し、外部コンピューティングへの依存が排除され、真のポータビリティと自己完結性が達成された。
• ハードウェア制限がある中でもシステムの性能が維持されたため、現代のエッジプラットフォームが臨床用神経義肢に向けた複雑な深層学習モデルをサポートできることを示した。