[논문 리뷰] Review of the State-of-the-art on Bio-signal-based Brain-controlled Vehicles

Amin Hekmatmanesh, Pedro H. J. Nardelli외 1명|arXiv (Cornell University)|2020. 06. 03.

EEG and Brain-Computer Interfaces인용 수 4

한 줄 요약

이 논문은 지난 10년간 뇌신경 신호 기반의 뇌제어 차량(BCV)과 뇌제어 항공기(BCAV)에 대해 EEG 및 생체신호를 중심으로 종합적으로 검토한다. 주로 ERD/ERS, P300, SSVEP와 같은 신경 패턴을 이용한 의도 탐지에 초점을 맞추며, 특히 SVM, LDA 및 하이브리드 fNIRS-EEG 융합 기반의 머신러닝 기법이 정확도 향상과 반응 지연 감소에 핵심적인 역할을 했음을 밝힌다. 드론과 자동차의 실시간 제어는 최대 80%의 정확도와 2.3초의 지연 시간을 기록했다.

ABSTRACT

Brain-controlled vehicle (BCV) is an already established technology usually designed for disabled patients. This review focuses on the most relevant topics on the brain controlling vehicles, especially considering terrestrial BCV (e.g., mobile car, car simulators, real car, graphical and gaming cars) and aerial BCV, also named BCAV (e.g., real quadcopter, drone, fixed wings, graphical helicopter and aircraft) controlled using bio-signals such as electroencephalogram (EEG), electrooculogram and electromyogram. For instance, EEG-based algorithms detect patterns from motor imaginary cortex area of the brain for intention detection, patterns like event related desynchronization/event related synchronization, state visually evoked potentials, P300, and generated local evoked potential patterns. We have identified that the reported best performing approaches employ machine learning and artificial intelligence optimization methods, namely support vector machine, neural network, linear discriminant analysis, k-nearest neighbor, k-means, water drop optimization and chaotic tug of war optimization optimization. We considered the following metrics to analyze the efficiency of the different methods: type and combination of bio-signals, time response, and accuracy values with the statistical analysis. The present work provides an extensive literature review of the key findings of previous ten years, indicating the future perspectives in the field.

연구 동기 및 목표

• 지난 10년간 생체신호 기반의 뇌제어 차량(BCV) 및 뇌제어 항공기(BCAV) 분야의 최신 기술 동향을 체계적으로 검토하는 것.
• 차량 제어에서 의도 탐지에 가장 효과적인 생체신호 패턴(예: ERD/ERS, P300, SSVEP)과 신호 처리 기법을 특정하는 것.
• 실시간 차량 제어를 위한 운동 상상 및 인지 상태 분류에 있어 머신러닝 및 AI 기반 알고리즘의 성능을 평가하는 것.
• 다양한 BCV 및 BCAV 시스템에서 반응 시간, 정확도, 내구성 등의 주요 성능 지표를 분석하는 것.
• 통신 지연, 환경 노이즈, 비상 브레이킹 탐지 등 열린 과제와 향후 연구 방향을 제시하는 것.

제안 방법

• 2014–2024년까지의 BCV 및 BCAV 연구에 대해 EEG, EOG, EMG 및 fNIRS 생체신호를 활용한 체계적 문헌 검토.
• 신경 패턴 기반 제어 파라다임 분류: 운동 상상에 대한 ERD/ERS, 시각 자극에 대한 SSVEP, 사건 관련 잠재전위에 대한 P300.
• 특징 분류에 사용된 머신러닝 모델: SVM, LDA, k-NN, k-means, 메타휴리스틱 최적화(예: 워터드롭, 혼돈형 투르워) 등.
• 신호 융합 기법 적용: EEG-fNIRS 및 EEG-EOG 조합을 통한 신호 강건성 및 명령 해상도 향상.
• 공유 제어 전략(Shared Control Strategy, SCS)에 외부 센서(GPS, 거리 센서, 카메라)를 통합하여 실시간 의사결정 및 장애물 회피 능력 향상.
• 반응 지연, 분류 정확도, 결과의 통계적 유의성 등의 지표를 활용해 실시간 성능 평가.

실험 결과

연구 질문

• RQ1 BCV 및 BCAV 시스템에서 운전자의 의도 탐지에 가장 효과적인 생체신호 패턴(예: ERD/ERS, P300, SSVEP)은 무엇인가?
• RQ2 SVM, LDA, 신경망 등 머신러닝 및 AI 기반 분류 방법의 정확도와 반응 시간 측면에서 BCV/BCAV 제어에 대한 비교는 어떻게 되는가?
• RQ3 EEG-fNIRS, EEG-EOG 등의 신호 융합이 실생활 차량 제어에서 제어 해상도와 강건성 향상에 미치는 영향은 무엇인가?
• RQ4 실시간 BCV 및 BCAV 시스템에서 주요 성능 저하 요인은 무엇이며, 특히 반응 지연과 환경 간섭에 대한 영향은 어떠한가?
• RQ5 외부 센서 데이터를 통합한 공유 제어 전략(SCS)은 장애물 회피 및 비상 브레이킹과 같은 비상 상황에서 안전성과 신뢰성을 어떻게 향상시킬 수 있는가?

주요 결과

• 가장 높은 성능을 보인 BCV 및 BCAV 시스템은 하이브리드 생체신호 융합(예: EEG-fNIRS)과 SVM, LDA 등의 고급 머신러닝 모델을 활용하여 8개의 복잡한 드론 명령에 대해 최대 80%의 분류 정확도를 달성했다.
• 실시간 제어에서 반응 지연은 여전히 핵심 과제로 남아 있으며, fNIRS 기반 시스템에서는 최대 2.3초까지 지연가능성이 보고되었지만, 공유 제어 전략(SCS)을 통해 일부 개선되었다.
• EEG 기반 시스템은 실제 운동 시작보다 0.5~2초 전에 운동 의도를 탐지할 수 있어 차량 제어에서 조기 개입이 가능하며, 특히 비상 브레이킹 탐지에 유용하다.
• 다양한 자극 작업(예: 정신적 산수, 어휘 구성)을 활용하면 특징 공간이 확장되어 멀티콥터 제어에서 복잡한 명령의 분류 성능이 향상된다.
• 통제된 환경에서는 높은 정확도를 달성했지만, 실생활 응용에서는 환경 노이즈, 스트레스, 피로 및 개인 간 변별성이 시스템의 강건성에 심각한 영향을 미친다.
• 향후 시스템은 지연을 줄이고 고해상도, 안정적이고 안전한 BCV/BCAV 운영을 위한 실시간 클라우드/에지 처리를 가능하게 하기 위해 5G 초과 통신 인프라가 필요하다.