[논문 리뷰] Brain-Swarm Interface (BSI): Controlling a Swarm of Robots with Brain and Eye Signals from an EEG Headset

Aamodh Suresh, Mac Schwager|arXiv (Cornell University)|2016. 12. 24.

EEG and Brain-Computer Interfaces참고 문헌 3인용 수 3

한 줄 요약

이 논문은 인간 사용자가 오직 뇌파와 눈동자 움직임을 통해 오프더쇼프 EEG 헤드셋을 이용해 로봇 군집을 제어할 수 있는 뇌-스웜 인터페이스(Brain-Swarm Interface, BSI)를 소개한다. 뇌파 해석을 위한 은닉 마르코프 모델(Hidden Markov Models)과 눈동자 움직임 감지를 위한 다단계 신호 처리 기법을 결합하여, 잠재력장 기반의 군집 제어기를 조절함으로써 시뮬레이션(128대의 로봇)과 하드웨어 실험(3대의 M3pi 로봇) 모두에서 군집의 산산이 흩날림, 집합, 방향 전환을 실시간으로 제어하는 데 성공했다.

ABSTRACT

This work presents a novel marriage of Swarm Robotics and Brain Computer Interface technology to produce an interface which connects a user to a swarm of robots. The proposed interface enables the user to control the swarm's size and motion employing just thoughts and eye movements. The thoughts and eye movements are recorded as electrical signals from the scalp by an off-the-shelf Electroencephalogram (EEG) headset. Signal processing techniques are used to filter out noise and decode the user's eye movements from raw signals, while a Hidden Markov Model technique is employed to decipher the user's thoughts from filtered signals. The dynamics of the robots are controlled using a swarm controller based on potential fields. The shape and motion parameters of the potential fields are modulated by the human user through the brain-swarm interface to move the robots. The method is demonstrated experimentally with a human controlling a swarm of three M3pi robots in a laboratory environment, as well as controlling a swarm of 128 robots in a computer simulation.

연구 동기 및 목표

• 오직 뇌파와 눈동자 신호만을 사용하여 대규모 로봇 군집을 제어할 수 있는 직관적이고 침습적이지 않은 인간-기계 인터페이스를 개발하는 것.
• 뇌-기계 인터페이스(BCI) 응용의 부족을 보완하고, 신경과학, 신호 처리, 제어 이론을 융합하여 군집 로봇 기술에 적용하는 것.
• 운동 기능 장애가 있는 사용자가 집단적 로봇 행동을 통해 복잡한 환경을 제어할 수 있도록 하는 것.
• EEG 기반 입력을 통해 군집 행동—특히 집합, 산산이 흩날림, 방향성 운동—을 실시간으로 온라인으로 제어할 수 있음을 입증하는 것.
• 고정밀 시뮬레이션과 실제 하드웨어 실험을 통해 시스템의 유효성을 검증하는 것.

제안 방법

• 뇌 활동과 눈동자 움직임의 표면 전기 신호를 비침습적으로 기록하기 위해 오프더쇼프인 Emotiv Epoc EEG 헤드셋을 사용한다.
• 원시 EEG 데이터에서 수평 및 수직 눈동자 움직임 신호를 추출하기 위해 다단계 신호 처리 기법을 적용한다.
• 필터링된 뇌파 신호를 분류하여 군집 집합 또는 산산이 흩날림을 나타내는 이산적 사고 상태로 해석하기 위해 은닉 마르코프 모델(Hidden Markov Model, HMM)을 활용한다.
• 해석된 사고 상태와 눈동자 움직임 방향을 잠재력장 기반 군집 제어기의 동적 파rameter(예: 잠재력장의 형태 및 척도)로 매핑한다.
• Zigbee를 통해 30Hz의 주파수로 제어 명령을 무선 전송하며, 각 M3pi 로봇은 비례 포인트 오프셋 제어기를 사용해 모터 속도를 생성한다.
• 실시간 로봇 자세 피드백 및 라이브 영상 피드를 통한 시각적 모니터링을 위해 운동 추적 시스템(Optitrack)을 통합한다.

실험 결과

연구 질문

• RQ1 오프더쇼프 EEG 하드웨어에서 뇌파와 눈동자 움직임 신호를 동시에 효과적으로 해석할 수 있는 하이브리드 BCI 시스템이 로봇 군집 제어에 적합한가?
• RQ2 해석된 뇌파 및 눈동자 신호를 실시간으로 활용해 잠재력장 기반 군집 제어기를 동적으로 조절할 수 있는가? 이를 통해 원하는 군집 행동을 달성할 수 있는가?
• RQ3 비침습적 EEG 신호만을 사용하여 실시간 온라인 환경에서 실제 로봇 군집(3대의 M3pi 로봇)과 시뮬레이션된 군집(128대의 로봇)을 제어하는 것이 가능한가?
• RQ4 인간의 인지 부하가 고려된 복잡한 다성분 시스템에서 HMM 기반의 사고 상태 추정 및 눈동자 움직임 감지의 신뢰성과 정확도는 어느 정도인가?
• RQ5 이러한 시스템이 운동 기능 장애가 있는 개인이 동시에 여러 대의 로봇을 제어할 수 있는 실용적이고 직관적인 인터페이스로 기능할 수 있는가?

주요 결과

• 시스템은 오직 EEG 신호만을 사용하여 물리 실험실 환경에서 3대의 M3pi 로봇 군집을 실시간으로 제어하는 데 성공했다.
• HMM 기반의 사고 상태 추정은 실험 기간 동안 집합과 산산이 흩날림 의도를 높은 신뢰도로 구분하는 데 성공했다.
• 눈동자 움직임 감지 기능은 사전 정의된 네 개의 구간을 순차적으로 따라가는 경로를 정확히 따라가며 방향 제어 능력을 입증했다.
• 시뮬레이션에서는 128대의 로봇 군집이 의도한 대로 산산이 흩날림과 집합 상태 사이를 정확하게 전환하며 복잡한 경로를 따라 움직였다.
• 하드웨어 및 시뮬레이션 환경 모두에서 안정적인 성능을 유지하였으며, 일관된 시각 피드백과 제어 반응을 제공했다.
• 인간의 인지 부하와 하드웨어 복잡성 등의 도전 과제에도 불구하고, 다수의 실험 시험에서 안정적인 운영을 달성했다.