[論文レビュー] From the decoding of cortical activities to the control of a JACO robotic arm: a whole processing chain

Laurent Bougrain, Olivier Rochel+2 more|arXiv (Cornell University)|Dec 1, 2012

EEG and Brain-Computer Interfaces被引用数 8

ひとこと要約

本論文は、サルの運動皮質からの皮質内スパイク列をデコードしてJACOロボットアームを制御する完全なリアルタイム脳機械インターフェース（BMI）パイプラインを提示する。OpenViBEを用いた信号処理とカスタムTCP/IPクライアント/サーバープロトコルにより、遅延を低減した予測手指位置をロボット命令に変換し、比例フィードバックと従来のVRPNベース手法に比べて向上したモularityを実現することで、安定したクローズドループ制御を達成した。

ABSTRACT

This paper presents a complete processing chain for decoding intracranial data recorded in the cortex of a monkey and replicates the associated movements on a JACO robotic arm by Kinova. We developed specific modules inside the OpenViBE platform in order to build a Brain-Machine Interface able to read the data, compute the position of the robotic finger and send this position to the robotic arm. More pre- cisely, two client/server protocols have been tested to transfer the finger positions: VRPN and a light protocol based on TCP/IP sockets. According to the requested finger position, the server calls the associ- ated functions of an API by Kinova to move the fin- gers properly. Finally, we monitor the gap between the requested and actual fingers positions. This chain can be generalized to any movement of the arm or wrist.

研究の動機と目的

• 皮質内神経信号をロボットアームの動きに変換する完全でエンドツーエンドの処理チェーンを開発すること。
• 特にロボット制御にVRPNプロトコルを使用する場合に生じる高遅延問題を克服すること。
• 神経スパイク列からのデコードされた手指移動軌跡を用いて、JACOロボットアームのリアルタイム・クローズドループ制御を可能にすること。
• VRPNの代わりに軽量なTCP/IPソケットベースのプロトコルを採用することで、モularityを向上させ、外部ライブラリへの依存を低減すること。
• 精密なグリップタスクを実行する霊長類モデルを用いてシステムを検証し、これにより手首および腕の動きへの一般化が可能であることを示すこと。

提案手法

• 本システムは、マカクザルの運動皮質（領域4）から得られた33個の運動ニューロンの脳内記録を処理するためにOpenViBEを用い、元の200 kHzから500 Hzにダウンサンプリングした。
• 一次の線形モデルが、神経細胞の発火レート、しきい値、同期性、およびレバー位置の変動に基づいて手指位置の軌跡を予測する。
• OpenViBEパイプラインがターゲット手指位置を生成し、カスタムTCP/IPソケットプロトコルを介してC#ベースのサーバーに送信する。
• サーバーはKinova JACO API（バージョン3.5）を用いてロボットの指に低レベルの運動命令を発行し、リアルタイム制御を実現する。
• ロボット側に比例フィードバック制御システムを実装し、要求位置と実際の位置の間の遅延を補正する。
• 従来のVRPNベースのインターフェースに代えて、より単純で低遅延なTCP/IPソリューションを採用することで、応答性を向上させ、外部ライブラリへの依存を低減した。

実験結果

リサーチクエスチョン

• RQ1 リアルタイムBMIパイプラインは、皮質内スパイク列を正確な手指移動命令にデコードし、ロボット制御に応用できるか？
• RQ2 VRPNプロトコルをカスタムTCP/IPソケットインターフェースに置き換えると、システムの遅延と制御安定性にどのような影響を与えるか？
• RQ3 比例フィードバック制御器は、BMIシステムにおける伝送遅延に起因する位置追従誤差をどの程度軽減できるか？
• RQ4 OpenViBEプラットフォームは、スパイク列やリアルタイムのロボット制御出力といった非標準データ型を効果的に処理できるように拡張可能か？
• RQ5 提案された処理チェーンは、手指制御にとどまらず、腕全体および手首の動きへも一般化可能か？

主な発見

• TCP/IPベースのクライアント/サーバープロトコルは、従来のVRPNベースのシステムに比べて遅延を低減し、リアルタイム応答性を向上させた。
• 元のAPIを使用した場合、要求位置と実際の位置の間に数百分の1秒の大きな遅延が観察され、制御ループに振動を引き起こした。
• ロボット側に比例フィードバック制御器を実装することで、システムが安定化し、追従誤差が低減した。
• 本システムは神経データから精密なグリップ運動を再現し、JACOロボットアームを用いたクローズドループ制御の実現可能性を示した。
• OpenViBEのモジュラー設計により、カスタムデータ形式（スパイク列）と非VRPN出力プロトコルの統合が可能となり、拡張性が実証された。
• 伝送遅延を低減すると予想されるKinova APIの新バージョンは、さらなる制御性能の向上が期待される。