[论文解读] Evaluating the structure of cognitive tasks with transfer learning

Bruno Aristimunha, Raphael De Camargo+4 more|arXiv (Cornell University)|Jul 28, 2023

EEG and Brain-Computer Interfaces参考文献 91被引用 4

一句话总结

本研究通过在两个大型EEG数据集（ERP CORE 和 M3 CV）的11项认知任务中评估深度神经网络表征，提出了用于EEG解码的迁移学习映射。结果表明，通过在线性探测（linear probing）方式，某一任务上的预训练可使其他任务的解码性能最高提升28%，揭示了任务间的层次关系，并为数据高效脑机接口的开发提供了支持。

ABSTRACT

Electroencephalography (EEG) decoding is a challenging task due to the limited availability of labelled data. While transfer learning is a promising technique to address this challenge, it assumes that transferable data domains and task are known, which is not the case in this setting. This study investigates the transferability of deep learning representations between different EEG decoding tasks. We conduct extensive experiments using state-of-the-art decoding models on two recently released EEG datasets, ERP CORE and M$^3$CV, containing over 140 subjects and 11 distinct cognitive tasks. We measure the transferability of learned representations by pre-training deep neural networks on one task and assessing their ability to decode subsequent tasks. Our experiments demonstrate that, even with linear probing transfer, significant improvements in decoding performance can be obtained, with gains of up to 28% compare with the pure supervised approach. Additionally, we discover evidence that certain decoding paradigms elicit specific and narrow brain activities, while others benefit from pre-training on a broad range of representations. By revealing which tasks transfer well and demonstrating the benefits of transfer learning for EEG decoding, our findings have practical implications for mitigating data scarcity in this setting. The transfer maps generated also provide insights into the hierarchical relations between cognitive tasks, hence enhancing our understanding of how these tasks are connected from a neuroscientific standpoint.

研究动机与目标

• 通过研究跨认知任务的深度学习表征可迁移性，解决EEG解码中的数据稀缺问题。
• 从神经科学视角，利用EEG数据理解认知任务之间的层次关系。
• 构建迁移映射，以指导EEG基脑机接口和临床应用中的高效迁移学习。
• 评估线性探测迁移在多样化EEG解码范式中的有效性，以识别可迁移的表征。
• 为广义或特定表征的预训练提供实际与神经科学层面的洞见，明确哪些任务能从预训练中受益。

提出的方法

• 在ERP CORE和M3 CV数据集中，使用标记的EEG数据，对最先进的深度学习模型（如EEGNet、EEGFormer）在某一认知任务上进行预训练。
• 使用仅线性分类器对冻结的特征提取器进行微调（线性探测），以评估可迁移性。
• 通过测量11项不同认知任务之间所有配对的解码准确率增益，构建迁移映射。
• 采用两个近期发布的大型EEG数据集，涵盖140多名受试者，具有多样化的解码模态（如N170、ERN、P300），以确保泛化能力。
• 在所有任务中应用标准化的数据预处理和训练协议，以确保公平比较与可复现性。
• 利用迁移学习探索个体层面的迁移与任务层面的迁移，以缓解脑机接口“不识字”现象（BCI illiteracy）。

Figure 2: A. Data splitting and alignment. Source and target tasks correspond to different ERP and BCI paradigms; B. EEG decoding models as a representer network and a classification head; C. Standard EEG decoding training and evaluation; D. Transfer with linear probing. Only the classification head

实验结果

研究问题

• RQ1 在使用预训练的深度表征时，哪些EEG解码中的认知任务对其他任务表现出强可迁移性？
• RQ2 在线性探测迁移中，与纯监督学习相比，在低数据环境下，解码性能的提升程度如何？
• RQ3 基于神经表征的可迁移性，认知任务之间存在何种层次关系？
• RQ4 某些解码范式是否引发高度特异性的脑活动模式，从而限制可迁移性？
• RQ5 迁移学习映射能否通过识别共享的诱发成分，为EEG中的源定位与功能网络建模提供支持？

主要发现

• 通过线性探测的迁移学习相比纯监督学习，解码性能最高提升28%，在数据稀缺环境下表现出显著优势。
• N170和ERN等任务对其他任务的可迁移性较低，表明其引发高度特异且狭窄的脑活动模式。
• 其他任务如P300和运动想象则从广泛表征的预训练中获益，表明其依赖于可泛化的神经特征。
• 迁移映射揭示了认知任务之间复杂且非对称的层次结构，部分任务可作为多个下游任务的有效预训练源。
• 结果表明，密切相关任务之间存在共享的功能网络，这由相似的诱发成分和迁移模式所支持。
• 迁移学习映射为缓解个体层面的BCI不识字现象提供了实用指导，支持从高性能任务向低性能任务的迁移。

Figure 3: Illustration of experiments recorded in ERP CORE ( A to F ) and M 3 CVdatasets ( G to J ). Labels under the stimuli correspond to what subjects are supposed to answer during the trials. They do not necessarily correspond to decoding labels. A. In the active visual oddball task P3b, partici