[論文レビュー] The largest EEG-based BCI reproducibility study for open science: the MOABB benchmark

Sylvain Chevallier, Igor Carrara+7 more|arXiv (Cornell University)|Apr 3, 2024

EEG and Brain-Computer Interfaces被引用数 10

ひとこと要約

この論文は、MOABBフレームワーク内でMI、P300/ERP、SSVEPパラダイムを分析し、36データセットと30のMLパイプラインにわたるEEGベースBCIパイプラインの最大規模の公開再現可能ベンチマークを実施する。

ABSTRACT

Objective. This study conduct an extensive Brain-computer interfaces (BCI) reproducibility analysis on open electroencephalography datasets, aiming to assess existing solutions and establish open and reproducible benchmarks for effective comparison within the field. The need for such benchmark lies in the rapid industrial progress that has given rise to undisclosed proprietary solutions. Furthermore, the scientific literature is dense, often featuring challenging-to-reproduce evaluations, making comparisons between existing approaches arduous. Approach. Within an open framework, 30 machine learning pipelines (separated into raw signal: 11, Riemannian: 13, deep learning: 6) are meticulously re-implemented and evaluated across 36 publicly available datasets, including motor imagery (14), P300 (15), and SSVEP (7). The analysis incorporates statistical meta-analysis techniques for results assessment, encompassing execution time and environmental impact considerations. Main results. The study yields principled and robust results applicable to various BCI paradigms, emphasizing motor imagery, P300, and SSVEP. Notably, Riemannian approaches utilizing spatial covariance matrices exhibit superior performance, underscoring the necessity for significant data volumes to achieve competitive outcomes with deep learning techniques. The comprehensive results are openly accessible, paving the way for future research to further enhance reproducibility in the BCI domain. Significance. The significance of this study lies in its contribution to establishing a rigorous and transparent benchmark for BCI research, offering insights into optimal methodologies and highlighting the importance of reproducibility in driving advancements within the field.

研究の動機と目的

• EEGベースのBCIにおける公開・再現可能なベンチマークを促進し、独自の、再現不能なソリューションに対抗する。
• 深層学習を含む現代的なパイプラインを含むMOABBベンチマークを、複数のBCIパラダイムにわたって更新・拡張する。
• オープンデータセット上でパイプラインを公正に比較するためのガイドラインとオープンなフレームワークを提供する。）
• method=[
• オープンフレームワークで30の機械学習パイプラインを再実装・評価する（生データ: 11、リーマニアン: 13、ディープラーニング: 6）。
• 運動イメージ（MI）、P300、およびSSVEPパラダイムを含む36の公開EEGデータセットを使用。
• 標準のPythonベースツール（MNE、scikit-learn、pyriemann）と4次のバターワース帯域通過フィルターを用いてデータを処理。
• 同一セッション内評価を採用し、層化k分割交差検証と1被験者/セッションを残す配慮をより広い文脈で適用。
• ハイパーパラメータ選択のために内部交差検証付きのネストされたグリッドサーチを実施。
• 統計的メタ解析（効果量、p値）を適用し、Code Carbonによる環境影響評価を含める。）

提案手法

• Re-implement and evaluate 30 machine learning pipelines (raw signal: 11, Riemannian: 13, deep learning: 6) in an open framework.
• Use 36 publicly available EEG datasets spanning motor imagery (MI), P300, and SSVEP paradigms.
• Process data with standard Python-based tools (MNE, scikit-learn, pyriemann) and a 4th-order Butterworth bandpass filter.
• Adopt within-session evaluation with stratified k-fold cross-validation and leave-one-subject/session-out considerations for broader context.
• Perform nested grid search with inner cross-validation to select hyperparameters.
• Apply statistical meta-analysis (effect sizes, p-values) and include environmental impact assessment via Code Carbon.

Figure 1 : Within-session evaluation, small rectangles indicate a sample or EEG trial, pastel colors on the two top lines shows the chronological order, bright color on the last three lines indicates training and testing samples/trials.

実験結果

リサーチクエスチョン

• RQ1 MI、P300/ERP、SSVEPパラダイム全体で最も効果的なEEG分類アプローチは何か？
• RQ2 パイプラインとデータセット間で計算時間とエネルギー消費はどう比較されるか？
• RQ3 公開データ条件下で、最良のディープラーニング手法と最良のリーマニアンBCIパイプラインはどれか？
• RQ4 これらのパラダイムで信頼性の高い性能を達成するには、どれだけの試行やチャネルが必要か？
• RQ5 MOABBデータセット全体で、どのMIタスクやERP/SSVEP構成が最も高い精度を示すか？

主な発見

• Riemannian approaches using spatial covariance matrices show superior performance across paradigms.
• Deep learning needs large data volumes to rival non-deep methods in EEG BCIs, highlighting data scarcity at the subject level.
• The MOABB results are openly accessible to enable ongoing, reproducible comparisons.
• The benchmark provides principled, robust results that inform methodological choices for MI, P300, and SSVEP BCIs.

Figure 2 : Visualization of the MOABB datasets, with Motor Imagery in green, Event Related Potential in pink/purple and Steady State Visually Evoked Potential in yellow/brown. The size of the circle is proportional to the number of subjects and the contrast depends on the number of electrodes.