[論文レビュー] NOIR: Neural Signal Operated Intelligent Robots for Everyday Activities

Ruohan Zhang, Sharon Lee+12 more|arXiv (Cornell University)|Nov 2, 2023

EEG and Brain-Computer Interfaces被引用数 8

ひとこと要約

NOIR は非侵襲的 EEG を使い、モジュール化された意図デコードパイプラインと効率性のための少数ショット学習で、20の日常タスクをロボットに指令する汎用脳-ロボットインターフェースを実証します。

ABSTRACT

We present Neural Signal Operated Intelligent Robots (NOIR), a general-purpose, intelligent brain-robot interface system that enables humans to command robots to perform everyday activities through brain signals. Through this interface, humans communicate their intended objects of interest and actions to the robots using electroencephalography (EEG). Our novel system demonstrates success in an expansive array of 20 challenging, everyday household activities, including cooking, cleaning, personal care, and entertainment. The effectiveness of the system is improved by its synergistic integration of robot learning algorithms, allowing for NOIR to adapt to individual users and predict their intentions. Our work enhances the way humans interact with robots, replacing traditional channels of interaction with direct, neural communication. Project website: https://noir-corl.github.io/.

研究の動機と目的

• タスク固有システムを超える汎用型脳-ロボットインターフェースの必要性を動機づける。
• EEG からの信号を何、どう、どこへという意図に分解するモジュール式デコードパイプラインを開発する。
• 高レベル目標を実行するためのパラメータ化されたプリミティブスキルのライブラリをロボットに搭載する。
• 個々のユーザーに適応し効率性を高めるための少数ショット模倣学習を取り入れる。

提案手法

• SSVEP からの物体選択を CCA でデコードし、OWのV-分割による物体セグメンテーションを適用。
• 運動想像（MI）からの相互作用方法とパラメータを CSP+QDA でデコードし、限られた較正データで実行。
• デコードを確認または中断するための EMG を用いた安全機構を統合。
• ロボットの動作をパラメータ化されたプリミティブスキルとして表現し、Panda アームと Tiago ロボットで実装。
• memories からの回収ベースの少数ショット学習を用いて object-skill の選択を予測する（R3M 特徴）。
• cursor のターゲット点を予測するために DINOv2 ベースの意味的マッチングを用いたワンショットパラメータ学習を適用。

Figure 1: NOIR is a general-purpose brain-robot interface that allows humans to use their brain signals (1) to control robots to perform daily activities, such as making Sukiyaki (2), ironing clothes (7), playing Tic-Tac-Toe with friends (17), and petting a robot dog (21).

実験結果

リサーチクエスチョン

• RQ1 NOIR は EEG デコードを用いて 20 の多様な日常活動へ広く一般化できるか。
• RQ2 実践的なデコード段階（What、How、Where）および安全確認の精度はどれくらいか。
• RQ3 少数ショット学習要素は作業効率と人間の労力削減に寄与するか。
• RQ4 限られた較正データでロボットは個々のユーザーに適応し、複雑なタスクを完遂できるか。

主な発見

Task	Task horizon	# Attempts	Time (min)	Human time (%)
WipeSpill	4.33	1.00	14.74	79.02
CollectToy	7.67	1.33	25.24	83.97
SweepTrash	5.67	2.33	20.59	82.34
CleanBook	7.00	3.33	27.73	80.00
IronCloth	4.67	2.33	16.95	79.56
OpenBasket	5.33	1.67	15.90	82.03
PourTea	4.00	1.67	13.53	83.15
SetTable	8.33	5.67	20.91	81.15
GrateCheese	7.00	1.33	24.98	81.79
CutBanana	5.33	1.67	17.68	81.21
CookPasta	8.33	1.67	30.06	83.26
sandwiches	9.00	1.67	27.87	82.71
Hockey	5.00	1.33	15.83	82.00
OpenGift	7.00	2.67	23.57	79.90
TicTacToe	14.33	2.00	43.08	80.54
Sukiyaki	13.00	1.00	43.45	84.85
TrashDisposal	8.00	1.00	7.25	55.32
CovidCare	8.00	1.00	8.80	62.29
WaterPlant	4.00	1.00	3.00	87.41
PetDog	6.00	1.00	4.58	87.53

• NOIR は高い物体選択デコード精度（SSVEP を用い 4-way 分類で 81.2%）。
• MI ベースの 2-way パラメータ選択（How）でタスク時間精度 73.9%、4-way スキル選択（What）で約 42.2%。
• 全体のデコード精度は tested タスクにおいて安全な動作を支え、100% の安全中断機構を実現。
• 物体-スキル検索学習により選択時間を約 60% 削減（45.7s から 18.1s）。
• DINOv2 を用いたワンショットパラメータ学習によりカーソル目標予測が正確になり、カーソル操作量を約 41%削減。
• 少人間介入で卓上・移動型操作を含む 20 タスクを成功裏に完遂する system を実証。

Figure 2: NOIR has two components, a modular pipeline for decoding goals from human brain signals, and a robotic system with a library of primitive skills. The robots possess the ability to learn to predict human intended goals hence reducing the human effort required for decoding.