[논문 리뷰] NOIR: Neural Signal Operated Intelligent Robots for Everyday Activities

Ruohan Zhang, Sharon Lee외 12명|arXiv (Cornell University)|2023. 11. 02.

EEG and Brain-Computer Interfaces인용 수 8

한 줄 요약

NOIR은 비침습적 EEG를 사용해 로봇을 명령하는 일반 목적의 뇌-로봇 인터페이스를 제시하며, 모듈식 의도 디코딩 파이프라인과 효율성을 위한 소수-shot 학습으로 20가지 일상 작업을 수행한다.

ABSTRACT

We present Neural Signal Operated Intelligent Robots (NOIR), a general-purpose, intelligent brain-robot interface system that enables humans to command robots to perform everyday activities through brain signals. Through this interface, humans communicate their intended objects of interest and actions to the robots using electroencephalography (EEG). Our novel system demonstrates success in an expansive array of 20 challenging, everyday household activities, including cooking, cleaning, personal care, and entertainment. The effectiveness of the system is improved by its synergistic integration of robot learning algorithms, allowing for NOIR to adapt to individual users and predict their intentions. Our work enhances the way humans interact with robots, replacing traditional channels of interaction with direct, neural communication. Project website: https://noir-corl.github.io/.

연구 동기 및 목표

• 일반 목적의 뇌-로봇 인터페이스가 task-specific 시스템을 넘어설 필요성에 대한 동기 부여.
• EEG로부터 무엇(What), 어떻게(How), 어디서(Where) 신호를 분해하는 모듈형 디코딩 파이프라인 개발.
• 고수준 목표를 수행하기 위해 매개변수화된 원시 기술의 라이브러리를 로봇에 구축.
• 개별 사용자에 적응하고 효율성을 높이기 위한 소수-shot 모방 학습 도입.

제안 방법

• 손목 가시적 뇌파 반응(SSVEP)에서 CCA를 사용한 물체 분할로 물체 선택 디코딩.
• 운동상상(MI)으로부터 CSP+QDA를 이용한 상호작용 방법 및 매개변수 디코딩(제한된 보정 데이터 사용).
• 디코딩의 안전 메커니즘을 EMG로 확인 또는 차단하여 안전성 확보.
• 로봇 동작을 매개변수화된 원시 기술로 표현하고 Panda 팔 및 Tiago 로봇에 구현.
• 저장소에서 기억으로부터 물체-기술 선택을 예측하기 위해 R3M 피처를 이용한 검색 기반 소수-shot 학습.
• cursor 목표 지점을 예측하기 위해 DINOv2 기반 시맨틱 매칭을 사용한 원샷 매개변수 학습.

Figure 1: NOIR is a general-purpose brain-robot interface that allows humans to use their brain signals (1) to control robots to perform daily activities, such as making Sukiyaki (2), ironing clothes (7), playing Tic-Tac-Toe with friends (17), and petting a robot dog (21).

실험 결과

연구 질문

• RQ1 NOIR이 EEG 디코딩을 사용해 20개의 다양한 일상 활동에 대해 폭넓은 일반화를 달성할 수 있는가?
• RQ2 실제에서 디코딩 단계(무엇, 어떻게, 어디서)와 안전 확인의 정확도는 어떠한가?
• RQ3 소수-shot 학습 구성 요소가 작업 효율성과 인간 노력을 줄이는 데 기여하는가?
• RQ4 제한된 보정 데이터를 가지고도 로봇이 개별 사용자에 적응하고 복잡한 작업을 완료할 수 있는가?

주요 결과

작업	작업 수평	시도 횟수	시간(분)	인간 시간 (%)
WipeSpill	4.33	1.00	14.74	79.02
CollectToy	7.67	1.33	25.24	83.97
SweepTrash	5.67	2.33	20.59	82.34
CleanBook	7.00	3.33	27.73	80.00
IronCloth	4.67	2.33	16.95	79.56
OpenBasket	5.33	1.67	15.90	82.03
PourTea	4.00	1.67	13.53	83.15
SetTable	8.33	5.67	20.91	81.15
GrateCheese	7.00	1.33	24.98	81.79
CutBanana	5.33	1.67	17.68	81.21
CookPasta	8.33	1.67	30.06	83.26
Sandwich	9.00	1.67	27.87	82.71
Hockey	5.00	1.33	15.83	82.00
OpenGift	7.00	2.67	23.57	79.90
TicTacToe	14.33	2.00	43.08	80.54
Sukiyaki	13.00	1.00	43.45	84.85
TrashDisposal	8.00	1.00	7.25	55.32
CovidCare	8.00	1.00	8.80	62.29
WaterPlant	4.00	1.00	3.00	87.41
PetDog	6.00	1.00	4.58	87.53

• NOIR은 물체 선택 디코딩 정확도가 높다(SSVEP, 4-way 분류에서 81.2%).
• MI 기반 2-way 매개변수 선택(How)은 작업-시간 정확도 73.9%에 도달; 4-way 기술 선택(What)은 약 42.2%.
• 전반적인 디코딩 정확도는 테스트된 작업에서 안전한 작동을 뒷받침하며 100% 안전-차단 메커니즘을 통해 작동.
• 물체-기술 검색 학습은 선택 시간을 약 60% 감소시킴(45.7초에서 18.1초로 감소).
• DINOv2 기반 원샷 매개변수 학습으로 커서 목표 예측이 가능해져 커서 이동 필요가 약 41% 감소.
• 시스템은 인간의 개입이 거의 없이 20개의 작업을 테이블탑 및 이동형 조작에서 성공적으로 완료함.

Figure 2: NOIR has two components, a modular pipeline for decoding goals from human brain signals, and a robotic system with a library of primitive skills. The robots possess the ability to learn to predict human intended goals hence reducing the human effort required for decoding.