[論文レビュー] Motor Imagery Decoding Using Ensemble Curriculum Learning and Collaborative Training

Georgios Zoumpourlis, Ioannis Patras|arXiv (Cornell University)|Nov 21, 2022

Robotics and Automated Systems被引用数 5

ひとこと要約

本稿では、EEGベースのBCIにおける被験者間モーターイメージネーション解釈のためのエンドツーエンド微分可能なアンサンブルモデルを提案する。カリキュラム学習を用いて特徴抽出器を特化させ、知識蒸留を用いて協調学習を可能にする。本手法は、従来の手法と比較して大幅に少ないパラメータ数で、PhysionetおよびOpenBMIデータセットにおいて最先端の性能を達成した。

ABSTRACT

In this work, we study the problem of cross-subject motor imagery (MI) decoding from electroencephalography (EEG) data. Multi-subject EEG datasets present several kinds of domain shifts due to various inter-individual differences (e.g. brain anatomy, personality and cognitive profile). These domain shifts render multi-subject training a challenging task and also impede robust cross-subject generalization. Inspired by the importance of domain generalization techniques for tackling such issues, we propose a two-stage model ensemble architecture built with multiple feature extractors (first stage) and a shared classifier (second stage), which we train end-to-end with two novel loss terms. The first loss applies curriculum learning, forcing each feature extractor to specialize to a subset of the training subjects and promoting feature diversity. The second loss is an intra-ensemble distillation objective that allows collaborative exchange of knowledge between the models of the ensemble. We compare our method against several state-of-the-art techniques, conducting subject-independent experiments on two large MI datasets, namely PhysioNet and OpenBMI. Our algorithm outperforms all of the methods in both 5-fold cross-validation and leave-one-subject-out evaluation settings, using a substantially lower number of trainable parameters. We demonstrate that our model ensembling approach combining the powers of curriculum learning and collaborative training, leads to high learning capacity and robust performance. Our work addresses the issue of domain shifts in multi-subject EEG datasets, paving the way for calibration-free brain-computer interfaces. We make our code publicly available at: https://github.com/gzoumpourlis/Ensemble-MI

研究の動機と目的

• 被験者間の神経生理的および認知的差異に起因するマルチ被験者EEGデータにおけるドメインシフトの課題に対処する。
• トレーニング中にターゲット被験者のデータを必要とせずに、EEGベースのブレインコンピュータインターフェースにおける被験者間一般化を向上させる。
• 特徴の多様性とモデルの協調性を向上させる、単一フェーズのエンドツーエンド微分可能なモデルアーキテクチャを構築する。
• 複数回のトレーニングランや複雑なアーキテクチャに依存する従来のアンサンブル手法と比較して、計算複雑性とモデル選択の負担を軽減する。

提案手法

• 第1段階にK個の別個の特徴抽出器を備えた2段階のアンサンブルアーキテクチャを設計し、第2段階に共有分類器を配置する。
• 被験者固有のカリキュラム学習損失（$\mathcal{L}_{\mathrm{subj}}$）とアンサンブル内知識蒸留損失（$\mathcal{L}_{\mathrm{dist}}$）を組み合わせた複合損失関数を用いて、モデルをエンドツーエンドで訓練する。
• 各特徴抽出器に異なる被験者サブセットを割り当てることでカリキュラム学習を適用し、特化と特徴の多様性を促進する。
• 知識蒸留を用いて、ソフトラベルの監視により特徴抽出器間で知識を共有させ、一般化性能と耐障害性を向上させる。
• 合計損失 $\mathcal{L}_{\mathrm{total}} = \mathcal{L}_{\mathrm{subj}} + \lambda \mathcal{L}_{\mathrm{dist}}$ を最適化することで、多様性と協調学習のバランスをとる。
• PhysionetおよびOpenBMIデータセットにおいて、5分割交差検証と1人を除いた被験者アウト（leave-one-subject-out）プロトコルを用いて、被験者独立評価を可能にする。

実験結果

リサーチクエスチョン

• RQ1 カリキュラム学習は、EEGベースのモデルアンサンブルに効果的に適用可能であり、特徴の多様性と被験者間一般化を向上させることができるか？
• RQ2 知識蒸留による協調学習は、モデルの複雑性を増加させることなく、マルチ被験者EEG解釈の性能を向上させることができるか？
• RQ3 カリキュラム学習と蒸留の組み合わせは、標準的なアンサンブル手法や単一モデルのトレーニングと比較して、被験者独立モーターイメージネーション解釈において優れた性能を示すか？
• RQ4 単一フェーズのエンドツーエンドトレーニング手順は、複数フェーズまたは被験者固有のトレーニング戦略に比べ、EEGベースのBCIシステムで優れた性能を発揮できるか？

主な発見

• Physionetデータセットでは、K=7の条件下で5分割交差検証で86.36%の精度を達成し、標準アンサンブルベースラインを0.83%上回った。
• OpenBMIデータセットでは、K=3の条件下で79.73%の精度を達成し、標準アンサンブルベースラインを0.65%上回り、カリキュラム学習単体と比較して0.44%の向上を示した。
• アブレーションスタディの結果、カリキュラム学習単体でもOpenBMIで最大0.15%、Physionetで最大0.15%の精度向上が見られ、K=6およびK=7のときが最大の向上を示した。
• 蒸留損失の導入により、すべてのK値において一貫した性能向上が確認され、PhysionetデータセットではK=7のときで最大+0.68%の向上を記録した。
• カリキュラム学習を省いた場合、性能の飽和が見られたことから、強制的な多様性がアンサンブル設定における高容量モデルの実現に不可欠であることが示された。
• 本モデルは、IENet やマルチタスク学習ベースラインといった先行手法と比較して、顕著に少ないトレーニング可能なパラメータ数で最先端の結果を達成した。