[논문 리뷰] Brain Responses During Robot-Error Observation

Dominik Welke, Joos Behncke외 7명|arXiv (Cornell University)|2017. 01. 01.

EEG and Brain-Computer Interfaces참고 문헌 48인용 수 5

한 줄 요약

이 연구는 관찰 중 인간의 뇌가 로봇의 실수와 로봇 유형에 대해 어떻게 반응하는지를 비침습적 뇌전도측정(EEG)으로 해독할 수 있는지 조사한다. 고밀도 EEG를 사용한 필터 백공통공간패턴(FBCSP) 파이프라인을 통해 저자들은 행동 정확성과 로봇 형태에 대한 유의미한 해독 성과를 보였지만, 정확도는 낮은 편이었다. 이는 EEG가 인간-로봇 상호작용 최적화를 위한 해독 가능한 뇌신호를 담고 있음을 시사한다.

ABSTRACT

Brain-controlled robots are a promising new type of assistive device for severely impaired persons. Little is however known about how to optimize the interaction of humans and brain-controlled robots. Information about the human’s perceived correctness of robot performance might provide a useful teaching signal for adaptive control algorithms and thus help enhancing robot control. Here, we studied whether watching robots perform erroneous vs. correct action elicits differential brain responses that can be decoded from single trials of electroencephalographic (EEG) recordings, and whether brain activity during human-robot interaction is modulated by the robot’s visual similarity to a human. To address these topics, we designed two experiments. In experiment I, participants watched a robot arm pour liquid into a cup. The robot performed the action either erroneously or correctly, i.e. it either spilled some liquid or not. In experiment II, participants observed two different types of robots, humanoid and non-humanoid, grabbing a ball. The robots either managed to grab the ball or not. We recorded high-resolution EEG during the observation tasks in both experiments to train a Filter Bank Common Spatial Pattern (FBCSP) pipeline on the multivariate EEG signal and decode for the correctness of the observed action, and for the type of the observed robot. Our findings show that it was possible to decode both correctness and robot type for the majority of participants significantly, although often just slightly, above chance level. Our findings suggest that non-invasive recordings of brain responses elicited when observing robots indeed contain decodable information about the correctness of the robot’s action and the type of observed robot. Our study also indicates that, given the, so far, relatively low decoding accuracies, either further improvements in non-invasive recording and analysis techniques or the utilization of intracranial measurements of neuronal activity will be necessary for practical applications.

연구 동기 및 목표

• 단일 시행 EEG 기록에서 인간 관찰자가 로봇 행동이 정확한지 오류가 있는지에 대한 뇌 반응을 해독할 수 있는지 확인하기 위해.
• 로봇의 외형적 유사성(인간형 대비 비인간형)이 행동 관찰 중 뇌 반응에 영향을 미치는지 조사하기 위해.
• 비침습적 EEG를 뇌-컴퓨터 인터페이스(BCI) 시스템에서 적응형 로봇 제어를 위한 실시간 피드백 신호로 사용할 수 있는지 타당성을 평가하기 위해.
• EEG 기반 신경 해독 기술이 인간-로봇 상호작용(HRI)을 향상시키기 위해 오류 인식 신호를 활용할 잠재력을 탐색하기 위해.

제안 방법

• 두 가지 실험을 실시함: 하나는 로봇 팔이 정확하거나 잘못된 액체倒기 행동을 수행하는 실험, 다른 하나는 인간형 및 비인간형 로봇이 공을 집는 행동을 수행하는 실험.
• 최적화된 신호 캡처를 위한 64채널 EEG 시스템을 사용하여 고해상도 EEG를 기록함.
• 단일 시행 EEG 데이터에서 행동 정확성과 로봇 유형과 관련된 뇌 신경 패턴을 해독하기 위해 필터 백공통공간패턴(FBCSP) 기계학습 파이프라인을 적용함.
• 개별 참가자의 EEG 데이터를 기반으로 FBCSP 모델을 훈련 및 테스트하여 시행별 해독 성능를 평가함.
• 기각 수준 이상의 해독 정확도의 통계적 유의성을 평가하기 위해 비모수적 순열검정을 사용함.
• 뇌전도 반응을 행동 정확성과 로봇 형태 모두와 관련하여 분석하였으며, 초기 사건 관련 전위 성분에 초점을 맞춤.

실험 결과

연구 질문

• RQ1 단일 시행 EEG 기록을 통해 인간 관찰자가 로봇 행동이 정확한지 오류가 있는지 인식하는지 해독할 수 있는가?
• RQ2 로봇의 외형(인간형 대비 비인간형)이 행동 관찰 중 관찰자의 뇌 반응에 영향을 미치는가?
• RQ3 인간-로봇 상호작용 맥락에서 로봇 오류 및 로봇 유형의 인식과 관련된 측정 가능하고 해독 가능한 EEG 뇌신호가 존재하는가?
• RQ4 개별 뇌 반응의 차이가 로봇 행동 정확성 및 로봇 유형 해독 성능에 어느 정도 영향을 미치는가?

주요 결과

• FBCSP 파이프라인은 대부분의 참가자에서 기각 수준 이상의 정확도로 관찰된 로봇 행동의 정확성을 성공적으로 해독함. 다만 정확도는 낮은 편이었다.
• 대부분의 참가자에서 기각 수준 이상으로 인간형 대비 비인간형 로봇 유형의 해독이 유의미하게 이루어졌으며, 이는 뇌가 로봇 형태에 민감하게 반응함을 시사한다.
• 연구에서는 로봇 오류 관찰 시 유도된 EEG 신호가 행동 정확성과 로봇 외형에 대한 해독 가능한 정보를 담고 있음을 확인했지만, 해독 정확도는 기각 수준 약간 높은 정도에 머물렀다.
• 긍정적인 결과에도 불구하고, 해독 정확도는 실용적인 BCI 응용에는 부족하여, 비침습적 기록 향상 또는 뇌내 측정이 필요함을 시사한다.
• 이러한 결과는 EEG 기반 신경 피드백을 뇌-기계 인터페이스의 적응형 제어 알고리즘에 활용할 수 있음을 뒷받침한다.
• 원천 국소화 및 향후 연구는 로봇 관련 오류 인식 해독에 가장 적합한 뇌 영역과 신호 특징을 규명하는 데 초점을 맞춰야 한다.