[논문 리뷰] The largest EEG-based BCI reproducibility study for open science: the MOABB benchmark

Sylvain Chevallier, Igor Carrara외 7명|arXiv (Cornell University)|2024. 04. 03.

EEG and Brain-Computer Interfaces인용 수 10

한 줄 요약

본 논문은 MOABB 프레임워크 내에서 MI, P300/ERP, SSVEP 패러다임을 분석하며 36개 데이터셋과 30개 ML 파이프라인에 걸친 EEG 기반 BCI 파이프라인의 가장 큰 공개 재현 가능 벤치마크를 수행한다.

ABSTRACT

Objective. This study conduct an extensive Brain-computer interfaces (BCI) reproducibility analysis on open electroencephalography datasets, aiming to assess existing solutions and establish open and reproducible benchmarks for effective comparison within the field. The need for such benchmark lies in the rapid industrial progress that has given rise to undisclosed proprietary solutions. Furthermore, the scientific literature is dense, often featuring challenging-to-reproduce evaluations, making comparisons between existing approaches arduous. Approach. Within an open framework, 30 machine learning pipelines (separated into raw signal: 11, Riemannian: 13, deep learning: 6) are meticulously re-implemented and evaluated across 36 publicly available datasets, including motor imagery (14), P300 (15), and SSVEP (7). The analysis incorporates statistical meta-analysis techniques for results assessment, encompassing execution time and environmental impact considerations. Main results. The study yields principled and robust results applicable to various BCI paradigms, emphasizing motor imagery, P300, and SSVEP. Notably, Riemannian approaches utilizing spatial covariance matrices exhibit superior performance, underscoring the necessity for significant data volumes to achieve competitive outcomes with deep learning techniques. The comprehensive results are openly accessible, paving the way for future research to further enhance reproducibility in the BCI domain. Significance. The significance of this study lies in its contribution to establishing a rigorous and transparent benchmark for BCI research, offering insights into optimal methodologies and highlighting the importance of reproducibility in driving advancements within the field.

연구 동기 및 목표

• EEG 기반 BCI에서 개방적이고 재현 가능한 벤치마킹을 촉진하여 독점적이고 재현 불가능한 솔루션에 대응한다.
• 다중 BCI 패러다임에 걸쳐 딥 러닝을 포함한 현대적인 파이프라인을 포함하도록 MOABB 벤치마크를 업데이트 및 확장한다.
• 개방된 데이터셋에서 파이프라인 간 공정한 비교를 위한 가이드라인과 열린 프레임워크를 제공한다.

제안 방법

• 오픈 프레임워크에서 30개의 머신 러닝 파이프라인을 재구현하고 평가한다(원시 신호: 11, 리만: 13, 딥 러닝: 6).
• MI, P300, SSVEP 패러다임에 걸친 36개의 공개 EEG 데이터셋을 사용한다.
• 표준 파이선 기반 도구(MNE, scikit-learn, pyriemann)와 4차 버터워스 대역통과 필터를 사용해 데이터를 처리한다.
• 더 넓은 맥락을 위해 층화된 k-겹 교차검증과 한 피험자/세션을 남겨두는 평가를 포함한 세션 내 평가를 채택한다.
• 하이퍼파라미터 선정을 위해 내부 교차검증이 있는 중첩 그리드 탐색을 수행한다.
• 통계적 메타분석(효과 크기, p-값)을 적용하고 Code Carbon을 통한 환경 영향 평가를 포함한다.

Figure 1 : Within-session evaluation, small rectangles indicate a sample or EEG trial, pastel colors on the two top lines shows the chronological order, bright color on the last three lines indicates training and testing samples/trials.

실험 결과

연구 질문

• RQ1 MI, P300/ERP, SSVEP 패러다임에서 가장 효과적인 EEG 분류 방법은 무엇인가?
• RQ2 파이프라인과 데이터셋 간에 계산 시간과 에너지 소비는 어떻게 비교되는가?
• RQ3 오픈 데이터 조건에서 최고의 딥 러닝 방법과 최고의 리만-BCI 파이프라인은 무엇인가?
• RQ4 이들 패러다임에서 신뢰할 수 있는 성능을 얻기 위해 필요한 트라이얼 수나 채널 수는 얼마인가?
• RQ5 MOABB 데이터세트에서 어떤 MI 작업이나 ERP/SSVEP 구성은 가장 높은 정확도를 보이는가?

주요 결과

• 리만 접근법은 공간 공분산 행렬을 사용하여 패러다임 전반에서 우수한 성능을 보인다.
• 딥 러닝은 EEG BCI에서 비딥 방법과 경쟁하려면 대용량 데이터가 필요하며, 피험자 수준의 데이터 부족을 강조한다.
• MOABB 결과는 지속적이고 재현 가능한 비교를 가능하게 하도록 공개적으로 접근 가능하다.
• 이 벤치마크는 MI, P300, 및 SSVEP BCI에 대한 방법론적 선택을 안내하는 원칙적이고 강건한 결과를 제공한다.

Figure 2 : Visualization of the MOABB datasets, with Motor Imagery in green, Event Related Potential in pink/purple and Steady State Visually Evoked Potential in yellow/brown. The size of the circle is proportional to the number of subjects and the contrast depends on the number of electrodes.