[論文レビュー] Adaptive Grasp Control through Multi-Modal Interactions for Assistive Prosthetic Devices

Michelle Esponda, Thomas M. Howard|arXiv (Cornell University)|Oct 18, 2018

Muscle activation and electromyography studies参考文献 28被引用数 4

ひとこと要約

本論文では、筋電位、視覚、触覚、音声のマルチモーダル入力を通じてユーザーの好みを学習する、適応型の義手制御システムを提示している。タッチスクリーンおよび音声コマンドによるイン・サイトフィードバックを統合することで、システムは把握分類の正確性を向上させ、120件のトレーニング例を経て、新しいバナナの物体に対して78%の確率で正しい把握を予測するに至った。これは、義手制御におけるパーソナライズドでインタラクティブな学習を実証するものである。

ABSTRACT

The hand is one of the most complex and important parts of the human body. The dexterity provided by its multiple degrees of freedom enables us to perform many of the tasks of daily living which involve grasping and manipulating objects of interest. Contemporary prosthetic devices for people with transradial amputations or wrist disarticulation vary in complexity, from passive prosthetics to complex devices that are body or electrically driven. One of the important challenges in developing smart prosthetic hands is to create devices which are able to mimic all activities that a person might perform and address the needs of a wide variety of users. The approach explored here is to develop algorithms that permit a device to adapt its behavior to the preferences of the operator through interactions with the wearer. This device uses multiple sensing modalities including muscle activity from a myoelectric armband, visual information from an on-board camera, tactile input through a touchscreen interface, and speech input from an embedded microphone. Presented within this paper are the design, software and controls of a platform used to evaluate this architecture as well as results from experiments deigned to quantify the performance.

研究の動機と目的

• 個々のユーザーの好みに適応できるようにデバイスが調整できるよう、パーソナライズドな義手制御の課題に取り組むこと。
• インタラクティブな学習により、事前にマップされた筋電位パターンの必要性を最小限に抑え、ユーザーの認知的負荷を軽減すること。
• マルチモーダルセンサリーフィードバックを用いて、多様で新しい物体の把握分類の正確性を向上させること。
• タクトイルフィードバックと音声フィードバックを統合した、リアルタイムでオンデバイスに学習するフレームワークを開発し、継続的なモデル最適化を実現すること。
• 長期的なカスタマイズ性と使いやすさをサポートする、頑健でユーザーに適応する義手制御システムを構築すること。

提案手法

• システムは、筋電位アームバンドから得られる表面筋電位（sEMG）を用いて前腕の筋活動を検出し、意図する把握タイプを推定する。
• 畳み込みニューラルネットワーク（CNN）が搭載されたカメラからの視覚入力を処理し、物体の形状を分類して適切な把握タイプを提案する。
• 前腕に取り付けたタッチスクリーンを介して触覚フィードバックを収集し、ユーザーが把握予測をリアルタイムで是正できるようにする。
• 腕に取り付けたマイクからの音声入力を用いて、自然言語による是正が可能となる。たとえば「別のグリップを試して」などのコマンドが可能である。
• EMGベースの予測と視覚的・フィードバック入力を統合したハイブリッドコントローラーが、ニューラルネットワークを用いて新しいトレーニング例に基づき把握モデルを更新する。
• 新たに収集したイン・サイトデータを用いて、オフラインで把握分類器を再トレーニングすることで、時間の経過とともにモデルの正確性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 ユーザーからのリアルタイムでのマルチモーダルフィードバックを用いて、義手システムが把握の好みを学習し適応できるか。
• RQ2 タクトイルフィードバックと音声フィードバックを統合することで、EMGオンリー制御と比較して、把握分類の正確性がどの程度向上するか。
• RQ3 イン・サイト学習を用いて、新しいまたはなじみのない物体に対して、どの程度把握行動をパーソナライズできるか。
• RQ4 ユーザーのフィードバックから得たトレーニング例の追加が、異なる物体タイプにわたるモデルの一般化能力にどのように影響するか。
• RQ5 オンボードでのマルチモーダルインタラクションにより、事前にプログラムされたマッピングが不要な自己改善型の義手制御システムを実現できるか。

主な発見

• 初期トレーニング後、システムは球形（りんご）、円筒形（マグカップ）、フック（ピッチャー）、側面（ゼラチンパック）の物体の把握タイプを高い正確性で正しく分類した。
• ピンチグリップを意図するダイスは、初期段階で10%の確率でのみ正しく分類された。スプーン（トライポッドグリップ）は、初期段階で一度も正しく分類されなかった。
• バナナ（新しい物体）のトレーニング例を20件追加した後、正しいトライポッドグリップを予測する確率が0%から16%に上昇した。
• バナナの120枚の画像を収集し、再トレーニングした結果、正しいトライポッドグリップを推定する確率が78%に達した。
• 新しいデータの追加により、以前にトレーニング済みの物体に対しても把握分類の正確性が向上した：スプーンの正しく分類される確率は0%から45%に、ダイスは10%から29%に上昇した。
• システムは、実際の物体に対して6つの把握タイプ（球形、円筒形、フック、側面、ピンチ、トライポッド）をすべて正常に実行でき、図10(d)に示されている。