[논문 리뷰] A Real-time Control Approach for Unmanned Aerial Vehicles using Brain-computer Interface

R. Vishwanath, Saumya Kumaar Saksena외 1명|arXiv (Cornell University)|2018. 09. 02.

EEG and Brain-Computer Interfaces참고 문헌 12인용 수 4

한 줄 요약

이 논문은 고정익 및 VTOL 무인 항공기(UAV)를 위한 실시간 뇌-컴퓨터 인터페이스(BCI) 제어 시스템을 제안한다. EEG 신호를 이용하여 공통 공간 패턴(CSP)과 선형 판별 분석(LDA)을 융합하여 97 Hz에서 고속·정확한 분류를 구현한다. 2개 클래스 제어에서는 85%의 분류 정확도를 달성하였고, 4개 클래스 제어에서는 최대 92%의 정확도를 기록하였다. 다중 회전익 UAV에서 안정적인 뇌로 제어하는 비행이 가능했으며, 낮은 지연 시간과 높은 신뢰성을 확보하였다.

ABSTRACT

Brain-computer interfacing (BCI) is a technology that is almost four decades old and it was developed solely for the purpose of developing and enhancing the impact of neuroprosthetics. However, in the recent times, with the commercialization of non-invasive electroencephalogram (EEG) headsets, the technology has seen a wide variety of applications like home automation, wheelchair control, vehicle steering etc. One of the latest developed applications is the mind-controlled quadrotor unmanned aerial vehicle. These applications, how- ever, do not require a very high-speed response and give satisfactory results when standard classification methods like Support Vector Machine (SVM) and Multi-Layer Perceptron (MLPC). Issues are faced when there is a requirement for high-speed control in the case of fixed-wing unmanned aerial vehicles where such methods are rendered unreliable due to the low speed of classification. Such an application requires the system to classify data at high speeds in order to retain the con- trollability of the vehicle. This paper proposes a novel method of classification which uses a combination of Common Spatial Paradigm and Linear Discriminant Analysis that provides an improved classification accuracy in real time. A non-linear SVM based classification technique has also been discussed. Further, this paper discusses the implementation of the proposed method on a fixed-wing and VTOL unmanned aerial vehicles.

연구 동기 및 목표

• 실시간, 고속 분류가 가능한 EEG 신호 처리 기술을 통해 고정익 및 VTOL UAV의 신뢰성 있는 제어를 해결하고자 한다.
• SVM 및 MLP와 같은 표준 분류기의 느린 처리 속도로 인해 고속 제어 환경에서 성능이 떨어지는 문제를 해결하고자 한다.
• 뇌 신호만을 이용하여 안정적이고 지속적인 UAV 제어를 유지할 수 있는 강력하고 저지연의 BCI 시스템을 개발하고자 한다.
• 프로토타입 엘레본 제어 방식의 델타 웨이프 UAV와 상용 퀴드로터 UAV에서 시스템을 검증하고자 한다.
• 빠른 반응 속도와 높은 정확도가 요구되는 복잡한 항공기 제어에 비침습적 BCI의 실현 가능성을 입증하고자 한다.

제안 방법

• EEG 신호는 250 Hz의 샘플링 속도로 EMOTIV EPOC+ 헤드셋을 사용하여 실시간으로 측정하였다.
• 신호 전처리에는 아티팩트 제거, 대역통과 필터링(8–30 Hz), 그리고 사건 관련 잠재반응(ERP) 기반의 에포크 분할이 포함되었다.
• 특징 추출에는 운동 상상 작업의 신호 대 잡음 비율을 향상시키기 위해 공통 공간 패턴(CSP) 방법을 사용하였다.
• 분류에는 2개 클래스 제어에 대해 선형 판별 분석(LDA)을, 4개 클래스 제어에 대해 비선형 SVM(NLSVM)을 사용하였다.
• 시스템은 실시간 처리 속도가 90–97 Hz로 유지되어 UAV에 낮은 지연 시간의 명령 전송이 가능했다.
• 제어 명령은 WiFi를 통해 지상 기지로 전송되었고, 지상 기지에서는 확장 칼만 필터링(EKF)을 통한 센서 융합 기반으로 UAV의 비행 제어기로 고수준 명령을 전달하였다.

실험 결과

연구 질문

• RQ1 전통적인 분류기인 SVM 및 MLP의 지연 문제를 극복하고, 실시간 고속 EEG 분류가 가능한 BCI 시스템이 고정익 및 VTOL UAV의 안정적 제어를 가능하게 할 수 있는가?
• RQ2 CSP와 LDA의 조합이 고정익 UAV에서 운동 상상 기반 BCI의 분류 정확도와 속도 향상에 얼마나 효과적인가?
• RQ3 비침습적 EEG를 이용한 2개 클래스 및 4개 클래스 UAV 제어 작업에서 달성 가능한 제어 정확도와 반응 시간은 어느 정도인가?
• RQ4 집중 지속 시간 및 정신 훈련(예: 요가)과 같은 개인의 인지 성능이 UAV 제어에서 BCI 분류 정확도에 미치는 영향은 어떠한가?
• RQ5 제안된 BCI 프레임워크가 프로토타입 고정익 UAV와 상용 다중 회전익 UAV 플랫폼 모두에 성공적으로 확장되고 검증될 수 있는가?

주요 결과

• CSP-LDA 분류기는 실시간 처리 속도 97 Hz를 달성하여 동적 UAV 비행에 적합한 낮은 지연 제어를 가능하게 하였다.
• 2개 클래스 LDA 기반 시스템은 모든 피험자 평균 분류 정확도 85%를 기록하였고, 요가 훈련을 이수한 피험자 10번은 98%의 정확도를 달성하였다.
• 4개 클래스 NLSVM 기반 시스템은 퀴드로터 UAV에서 최대 92%의 정확도를 기록하여 복잡한 제어 작업의 실현 가능성을 입증하였다.
• 피험자 10번의 성능(98% 정확도)은 뚜렷하게 높았으며, 이는 요가와 같은 정신 훈련이 BCI 제어 능력을 향상시킬 수 있음을 시사한다.
• 시스템은 프로토타입 엘레본 장착 델타 웨이프 UAV와 AR 파리벳 2.0 퀴드로터 UAV 모두에서 안정적이고 지속적인 제어를 구현하였으며, 실시간 반응과 최소한의 지연 시간을 확보하였다.
• 오프라인 분석 결과 쌍둥이 데이터셋 평가에서 11%의 오차율을 기록하여 모델의 강건성과 일반화 가능성을 확인하였다.