[論文レビュー] Brain Responses During Robot-Error Observation

Dominik Welke, Joos Behncke+7 more|arXiv (Cornell University)|Jan 1, 2017

EEG and Brain-Computer Interfaces参考文献 48被引用数 5

ひとこと要約

本研究では、観察中のロボットの誤動作とロボットの種別に対する人間の脳の反応を非侵襲的EEGで解読できるかを調査している。高密度EEGを用いたフィルターバンク共分散パターン（FBCSP）パイプラインを用いて、著者らは行動の正しさとロボットの形状に関する有意な解読を示したが、正確性はやや低い水準であった。これは、EEGが人間-ロボット相互作用の最適化に向けた解読可能な神経信号を含んでいる可能性を示唆している。

ABSTRACT

Brain-controlled robots are a promising new type of assistive device for severely impaired persons. Little is however known about how to optimize the interaction of humans and brain-controlled robots. Information about the human’s perceived correctness of robot performance might provide a useful teaching signal for adaptive control algorithms and thus help enhancing robot control. Here, we studied whether watching robots perform erroneous vs. correct action elicits differential brain responses that can be decoded from single trials of electroencephalographic (EEG) recordings, and whether brain activity during human-robot interaction is modulated by the robot’s visual similarity to a human. To address these topics, we designed two experiments. In experiment I, participants watched a robot arm pour liquid into a cup. The robot performed the action either erroneously or correctly, i.e. it either spilled some liquid or not. In experiment II, participants observed two different types of robots, humanoid and non-humanoid, grabbing a ball. The robots either managed to grab the ball or not. We recorded high-resolution EEG during the observation tasks in both experiments to train a Filter Bank Common Spatial Pattern (FBCSP) pipeline on the multivariate EEG signal and decode for the correctness of the observed action, and for the type of the observed robot. Our findings show that it was possible to decode both correctness and robot type for the majority of participants significantly, although often just slightly, above chance level. Our findings suggest that non-invasive recordings of brain responses elicited when observing robots indeed contain decodable information about the correctness of the robot’s action and the type of observed robot. Our study also indicates that, given the, so far, relatively low decoding accuracies, either further improvements in non-invasive recording and analysis techniques or the utilization of intracranial measurements of neuronal activity will be necessary for practical applications.

研究の動機と目的

• 単一試行EEG記録から、人間の観察者がロボットの行動を正しくまたは誤って認識しているかを解読できるかを検証すること。
• ロボットの外見が人間に似ているかどうかが、行動観察中の神経反応に影響を与えるかを調査すること。
• 非侵襲的EEGを、脳-コンピュータインターフェース（BCI）システムにおける適応的ロボット制御のリアルタイムフィードバック信号として使用可能かどうかを評価すること。
• EEGを用いた神経解読の可能性を、人間-ロボット相互作用（HRI）の文脈で誤動作認識信号を向上させるために探求すること。

提案手法

• 2つの実験を実施した：1つ目はロボットアームが正しいか誤った液体注ぎ動作を実行するもので、2つ目は人型と非人型ロボットがボールをつかむ動作を実行するものである。
• 64チャネルEEGシステムを用いて、最適化された信号収集を実施し、高分解能EEGを観察タスク中に記録した。
• 単一試行EEGデータから行動の正しさとロボットの種別に関連する神経パターンを解読するために、フィルターバンク共分散パターン（FBCSP）機械学習パイプラインを適用した。
• 個々の被験者に特化したEEGデータを用いてFBCSPモデルを訓練およびテストし、試行ごとの解読性能を評価した。
• 有意水準以上の解読正確性を検証するために、非パラメトリックなパーミュテーション検定を用いた。
• 行動の正しさとロボットの形状の両者に関連する脳反応を分析し、早期のイベント関連電位成分に注目した。

実験結果

リサーチクエスチョン

• RQ1 単一試行EEG記録から、人間の観察者がロボットの行動を正しくまたは誤って認識しているかを解読できるか？
• RQ2 ロボットの外見（人型対非人型）が、行動観察中の観察者の神経反応に影響を与えるか？
• RQ3 人間-ロボット相互作用の文脈において、ロボットの誤動作とロボットの種別の認識に関連する測定可能で解読可能なEEG神経シグネチャが存在するか？
• RQ4 個々の被験者の神経反応の差が、ロボット行動の正しさとロボット種別の解読性能にどの程度影響を与えるか？

主な発見

• FBCSPパイプラインは、大多数の被験者において、偶然以上に行動の正しさを解読できたが、正確性はわずかに低い水準であった。
• ロボット種別（人型対非人型）の解読も、大多数の被験者において偶然以上に有意に達成され、ロボットの形状に対する神経感受性が示された。
• 本研究では、ロボットの誤動作を観察した際のEEG信号に、行動の正しさとロボットの外見に関する解読可能な情報が含まれており、解読正確性がわずかに偶然以上であったにもかかわらず、その事実が確認された。
• 前向きな結果が得られたものの、BCI応用には正確性が低すぎるため、非侵襲的記録の改善または脳内測定の導入が求められる。
• 本研究の結果は、EEGを用いた神経フィードバックを、脳-マシンインターフェースにおける適応的制御アルゴリズムに活用する可能性を支持する。
• 源局在化と今後の研究は、ロボット関連の誤動作認識を解読するための最適な脳領域と信号特徴を同定することに焦点を当てるべきである。