[論文レビュー] Temporal-Difference Learning to Assist Human Decision Making during the Control of an Artificial Limb

Ann L. Edwards, Alexandra Kearney+3 more|arXiv (Cornell University)|Sep 18, 2013

Muscle activation and electromyography studies参考文献 12被引用数 8

ひとこと要約

本論文では、筋電図（EMG）で制御されるロボットアームにおけるユーザーの制御モード切り替え時刻を予測するために時系列差分学習と一般価値関数（GVFs）を活用する手法を提案する。これにより、デバイスは事前に最適な切り替えを提案できるようになり、ユーザーの行動に応じてリアルタイムで学習し、予測によるフォーカスで手動での切り替えを低減するとともに、明示的な報酬なしに自然なインタラクションにより直感的かつ報酬フリーにユーザーが修正できる。この手法により、補装用義体における人間-ロボット制御が著しく簡素化される。

ABSTRACT

In this work we explore the use of reinforcement learning (RL) to help with human decision making, combining state-of-the-art RL algorithms with an application to prosthetics. Managing human-machine interaction is a problem of considerable scope, and the simplification of human-robot interfaces is especially important in the domains of biomedical technology and rehabilitation medicine. For example, amputees who control artificial limbs are often required to quickly switch between a number of control actions or modes of operation in order to operate their devices. We suggest that by learning to anticipate (predict) a user's behaviour, artificial limbs could take on an active role in a human's control decisions so as to reduce the burden on their users. Recently, we showed that RL in the form of general value functions (GVFs) could be used to accurately detect a user's control intent prior to their explicit control choices. In the present work, we explore the use of temporal-difference learning and GVFs to predict when users will switch their control influence between the different motor functions of a robot arm. Experiments were performed using a multi-function robot arm that was controlled by muscle signals from a user's body (similar to conventional artificial limb control). Our approach was able to acquire and maintain forecasts about a user's switching decisions in real time. It also provides an intuitive and reward-free way for users to correct or reinforce the decisions made by the machine learning system. We expect that when a system is certain enough about its predictions, it can begin to take over switching decisions from the user to streamline control and potentially decrease the time and effort needed to complete tasks. This preliminary study therefore suggests a way to naturally integrate human- and machine-based decision making systems.

研究の動機と目的

• 制御中の手動モード切り替えを最小限に抑えることで、人工肢を使用する被験者に対する認知的および身体的負担を軽減すること。
• 明示的な行動がとられる前にもユーザーの制御意図を事前に予測できる、リアルタイムで適応可能なシステムの開発。
• 明示的な人間の報酬信号や強化信号を必要とせず、機械学習の予測結果を人間-ロボットインタラクションに統合すること。
• 予測モデリングが、補装ロボティクスにおける自然で直感的かつ準自律的制御をどのように支援できるかの検討。

提案手法

• 本システムは、リアルタイムの筋電図（EMG）信号に基づいて将来のユーザー制御意思決定を予測する一般価値関数（GVFs）を、時系列差分学習で訓練する。
• GVFsを用いて、10ステップの時系列予測範囲を用いて、モード切り替えのタイミングと次に作用させるべき関節を同時に予測する。
• 予測は継続的なインタラクション中に段階的に更新され、ユーザー行動にリアルタイムで適応可能である。
• ユーザーが自発的に行動することでフィードバックが得られる：関数を選択することで予測が確認され、代替選択によりその信頼度が低下する。
• ユーザーの意図と切り替えパターンをモデル化するため、EMG活動とタスクコンテキストから得られる状態表現に依存する。
• 明示的な報酬やデモンストレーションは不要で、ユーザー行動そのものがモデルの最適化に向けた監視信号として機能する。

実験結果

リサーチクエスチョン

• RQ1 時系列差分学習とGVFsを用いた予測は、多機能ロボットアーム制御システムにおいて、ユーザーのモード切り替えタイミングを正確に予測できるか？
• RQ2 EMG信号とコンテキストに基づいて、ユーザーが次に作用させようとしている関節をどれほど正確に予測できるか？
• RQ3 明示的な強化やデモンストレーションを必要とせず、自然で報酬フリーのフィードバックをユーザーに提供できるか？
• RQ4 予測モデルは、人工肢の制御における人間-ロボットインタラクションで、手動切り替えの負担をどの程度低減できるか？
• RQ5 本システムは、異なるセッションやユーザー間で、予測の正確性をどの程度維持できるか？

主な発見

• 本システムは、実時間でユーザーの切り替え意思決定を予測することに成功し、実際のユーザー主導の切り替えの前に予測値が上昇した。
• 関節活動の予測値も、次に作用する直前に上昇しており、ユーザーの意図を正確に予測していることが示された。
• 時系列差分学習を5回の反復後に、未観測のテストデータに対しても予測の正確性を維持した。
• ユーザー行動が暗黙のフィードバックとして機能した：関数を選択することで予測が確認され、代替選択によりその信頼度が低下した。
• 本手法により、明示的なトレーニング信号なしに、自然で報酬フリーな方法でユーザーがシステムの提案を修正または強化できるようになった。
• 結果から、予測モデリングにより手動切り替えの必要性が低減され、場合によっては完全に排除できる可能性があり、タスク完了に要する時間と労力の大幅な削減が期待される。