[论文解读] Motor Imagery Decoding Using Ensemble Curriculum Learning and Collaborative Training

Georgios Zoumpourlis, Ioannis Patras|arXiv (Cornell University)|Nov 21, 2022

Robotics and Automated Systems被引用 5

一句话总结

本文提出了一种用于基于EEG的脑-机接口中跨被试运动想象解码的端到端可训练集成模型，结合课程学习以专业化特征提取器，并通过知识蒸馏实现协作学习。该方法在Physionet和OpenBMI数据集上实现了最先进性能，且参数量显著少于先前方法。

ABSTRACT

In this work, we study the problem of cross-subject motor imagery (MI) decoding from electroencephalography (EEG) data. Multi-subject EEG datasets present several kinds of domain shifts due to various inter-individual differences (e.g. brain anatomy, personality and cognitive profile). These domain shifts render multi-subject training a challenging task and also impede robust cross-subject generalization. Inspired by the importance of domain generalization techniques for tackling such issues, we propose a two-stage model ensemble architecture built with multiple feature extractors (first stage) and a shared classifier (second stage), which we train end-to-end with two novel loss terms. The first loss applies curriculum learning, forcing each feature extractor to specialize to a subset of the training subjects and promoting feature diversity. The second loss is an intra-ensemble distillation objective that allows collaborative exchange of knowledge between the models of the ensemble. We compare our method against several state-of-the-art techniques, conducting subject-independent experiments on two large MI datasets, namely PhysioNet and OpenBMI. Our algorithm outperforms all of the methods in both 5-fold cross-validation and leave-one-subject-out evaluation settings, using a substantially lower number of trainable parameters. We demonstrate that our model ensembling approach combining the powers of curriculum learning and collaborative training, leads to high learning capacity and robust performance. Our work addresses the issue of domain shifts in multi-subject EEG datasets, paving the way for calibration-free brain-computer interfaces. We make our code publicly available at: https://github.com/gzoumpourlis/Ensemble-MI

研究动机与目标

• 解决由于个体间神经生理和认知差异导致的多被试EEG数据中的领域偏移问题。
• 在训练过程中无需目标被试数据的情况下，提升基于EEG的脑-机接口中的跨被试泛化能力。
• 开发一种单阶段、端到端可训练的模型架构，以增强特征多样性与模型协作。
• 与依赖多次训练或复杂架构的现有集成方法相比，降低计算复杂度和模型选择负担。

提出的方法

• 设计一种两阶段集成架构，第一阶段包含K个独立的特征提取器，第二阶段采用共享分类器。
• 使用复合损失函数端到端训练模型，该函数结合了被试特定的课程学习损失（$\mathcal{L}_{\mathrm{subj}}$）和组内知识蒸馏损失（$\mathcal{L}_{\mathrm{dist}}$）。
• 通过为每个特征提取器分配不同的被试子集实施课程学习，以促进专业化和特征多样性。
• 利用知识蒸馏使特征提取器通过软标签监督共享知识，从而提升泛化能力和鲁棒性。
• 优化总损失 $\mathcal{L}_{\mathrm{total}} = \mathcal{L}_{\mathrm{subj}} + \lambda \mathcal{L}_{\mathrm{dist}}$，以平衡多样性与协作学习。
• 通过Physionet和OpenBMI数据集上的5折交叉验证与留一被试-out协议，实现无被试依赖的评估。

实验结果

研究问题

• RQ1 课程学习能否有效应用于基于EEG的模型集成，以提升特征多样性和跨被试泛化能力？
• RQ2 通过知识蒸馏进行协作训练是否能在不增加模型复杂度的前提下提升多被试EEG解码性能？
• RQ3 课程学习与蒸馏的结合相较于标准集成或单模型训练，在无被试依赖的运动想象解码中表现如何？
• RQ4 单阶段端到端训练流程是否能优于多阶段或被试特定的训练策略，在基于EEG的脑-机接口系统中表现更优？

主要发现

• 在Physionet数据集上，所提方法在K=7时的5折交叉验证中达到86.36%的准确率，较标准集成基线提升0.83%。
• 在OpenBMI数据集上，该方法在K=3时达到79.73%的准确率，较标准集成基线提升0.65%，较仅使用课程学习提升0.44%。
• 消融实验表明，仅使用课程学习在OpenBMI和Physionet数据集上分别最多提升0.15%的准确率，且在K=6和K=7时增益最大。
• 在所有K值下，引入蒸馏损失均带来一致的性能增益，其中在Physionet数据集上K=7时提升最大，达+0.68%。
• 当省略课程学习时，性能出现饱和，表明强制多样性在集成设置中对实现高模型容量至关重要。
• 该模型以显著更少的可训练参数量实现了最先进性能，优于IENet和多任务学习基线等先前方法。