[논문 리뷰] Towards Brain-Computer Interfaces for Drone Swarm Control

Ji-Hoon Jeong, Dae-Hyeok Lee외 2명|arXiv (Cornell University)|2020. 02. 03.

EEG and Brain-Computer Interfaces참고 문헌 24인용 수 4

한 줄 요약

이 연구는 시각적 이미지화 개념을 활용한 비침습적 EEG 기반 뇌-컴퓨터 인터페이스(BCI)를 제안하여 드론 스웜을 제어한다. '정지', '분할', '산산이 흩날림', '집합'이라는 네 가지 고수준 스웜 명령어를 분류할 수 있음을 입증하였으며, 일곱 명의 피실험자 평균 정확도가 36.7%로 25%의 우연 수준을 초월하여, 기초적인 머신러닝을 사용한 EEG 기반 드론 스웜 제어의 가능성은 입증되었다.

ABSTRACT

Noninvasive brain-computer interface (BCI) decodes brain signals to understand user intention. Recent advances have been developed for the BCI-based drone control system as the demand for drone control increases. Especially, drone swarm control based on brain signals could provide various industries such as military service or industry disaster. This paper presents a prototype of a brain swarm interface system for a variety of scenarios using a visual imagery paradigm. We designed the experimental environment that could acquire brain signals under a drone swarm control simulator environment. Through the system, we collected the electroencephalogram (EEG) signals with respect to four different scenarios. Seven subjects participated in our experiment and evaluated classification performances using the basic machine learning algorithm. The grand average classification accuracy is higher than the chance level accuracy. Hence, we could confirm the feasibility of the drone swarm control system based on EEG signals for performing high-level tasks.

연구 동기 및 목표

• 비침습적 EEG 신호를 이용하여 드론 스웜 제어를 위한 뇌-스웜 인터페이스 시스템을 개발하는 것.
• 고수준 스웜 명령어가 시각적 이미지화 작업 중 EEG에서 복원 가능한지 조사하는 것.
• 기초적인 머신러닝을 사용하여 네 가지 다른 드론 스웜 행동의 분류 성능을 평가하는 것.
• 시뮬레이션된 드론 스웜 운영 동안 EEG 측정을 위한 통제된 실험 환경을 구축하는 것.
• 현실적인 상황에서 복잡한 다중명령 드론 스웜 제어에 대해 EEG 기반 BCI의 실현 가능성을 평가하는 것.

제안 방법

• 피실험자들이 네 가지 드론 스웜 행동(정지, 분할, 산산이 흩날림, 집합)을 상상하는 시각적 이미지화 개념을 적용하였다.
• 4단계 실험 프로토콜을 사용하였으며, 휴식, 시각적 신호/준비, 집중, 상상 단계로 구성되었고, 눈높이에서 90 cm 거리에 모니터를 배치하였다.
• 64채널 EEG 시스템을 사용하여 1,000 Hz의 샘플링 속도로 EEG 신호를 측정하였으며, 60 Hz 노치 필터를 적용하고, 임피던스는 10 kΩ 이하로 유지하였다.
• 전처리 단계에서 0-위상 2차 버터워스 대역통과 필터(8–30 Hz)를 적용하고, 4초 간격의 에포크로 분할하였다.
• 공통 공간 패턴(CSP)을 사용하여 공간적 특징을 추출하였으며, 첫 번째 및 마지막 세 개의 CSP 성분에 대한 로그 변환된 분산을 사용하였다.
• 선형 판별 분석(LDA)을 사용하여 네 클래스를 분류하였으며, 일대다 전략과 5중 교차 검증을 적용하였다.

실험 결과

연구 질문

• RQ1 드론 스웜 행동의 시각적 이미지화 동안 EEG 신호가 네 가지 명확한 명령어 클래스로 신뢰성 있게 분류될 수 있는가?
• RQ2 비침습적 EEG와 기초적인 머신러닝을 사용할 때, 고수준 드론 스웜 명령어의 분류 정확도가 우연 수준(25%)을 초월하는가?
• RQ3 EEG 신호 품질과 작업 성능의 개인적 차이가 BCI 기반 드론 스웜 제어 시스템의 분류 정확도에 미치는 영향은 어떠한가?
• RQ4 시뮬레이션된 현실적인 환경이 복잡한 스웜 작업에 대한 EEG 기반 제어의 실현 가능성을 어느 정도 향상시키는가?
• RQ5 비침습적 EEG만을 사용하여 다중명령, 고수준 제어를 위한 뇌-스웜 인터페이스를 개발할 수 있는가?

주요 결과

• 일곱 명의 피실험자 평균 분류 정확도는 36.7% (±4.6%)였으며, 네 클래스 분류의 25% 우연 수준을 뚜렷이 초월하였다.
• 피실험자 5번이 가장 높은 정확도 41.3%를 기록하였고, 피실험자 3번은 가장 낮은 28.4%를 기록하여 개인 간 EEG 반응성의 변동성을 보여주었다.
• 제어된 조건 하에서 EEG 데이터 품질이 충분히 높아, 우연 수준을 초월하는 성능을 보이며 신뢰성 있는 분류가 가능함을 입증하였다.
• 피실험자 3번의 낮은 성능은 시각적 이미지화 작업 수행 어려움과 관련이 있었으며, 인지 부담 또는 작업 이해 문제로 추정된다.
• 결과적으로 EEG 기반 BCI를 고수준 드론 스웜 제어에 사용할 수 있음을 확인하였으며, 특히 기본적인 스웜 행동에 대해 유용하다.
• 이 연구는 향후 실생활 환경에서 분류 정확도를 향상시키기 위해 딥러닝 기술을 통합할 기초를 마련하였다.