[论文解读] Correct block-design experiments mitigate temporal correlation bias in EEG classification

Simone Palazzo, Concetto Spampinato+4 more|arXiv (Cornell University)|Nov 25, 2020

EEG and Brain-Computer Interfaces被引用 4

一句话总结

本文回应了关于块设计脑电图（EEG）实验因时间相关性导致分类结果虚假的指控。通过对原始数据集进行严格再分析，作者证明其数据中的时间相关性极低，且在破坏时间结构后分类性能依然显著，从而驳斥了对EEG研究中块设计方法的普遍质疑。

ABSTRACT

It is argued in [1] that [2] was able to classify EEG responses to visual stimuli solely because of the temporal correlation that exists in all EEG data and the use of a block design. We here show that the main claim in [1] is drastically overstated and their other analyses are seriously flawed by wrong methodological choices. To validate our counter-claims, we evaluate the performance of state-of-the-art methods on the dataset in [2] reaching about 50% classification accuracy over 40 classes, lower than in [2], but still significant. We then investigate the influence of EEG temporal correlation on classification accuracy by testing the same models in two additional experimental settings: one that replicates [1]'s rapid-design experiment, and another one that examines the data between blocks while subjects are shown a blank screen. In both cases, classification accuracy is at or near chance, in contrast to what [1] reports, indicating a negligible contribution of temporal correlation to classification accuracy. We, instead, are able to replicate the results in [1] only when intentionally contaminating our data by inducing a temporal correlation. This suggests that what Li et al. [1] demonstrate is that their data are strongly contaminated by temporal correlation and low signal-to-noise ratio. We argue that the reason why Li et al. [1] observe such high correlation in EEG data is their unconventional experimental design and settings that violate the basic cognitive neuroscience design recommendations, first and foremost the one of limiting the experiments' duration, as instead done in [2]. Our analyses in this paper refute the claims of the "perils and pitfalls of block-design" in [1]. Finally, we conclude the paper by examining a number of other oversimplistic statements, inconsistencies, misinterpretation of machine learning concepts, speculations and misleading claims in [1].

研究动机与目标

• 反驳关于块设计EEG实验因时间相关性导致分类结果误导的指控。
• 证明[2]中原始EEG数据集的时间相关性极弱，与[1]中的断言相反。
• 验证在控制实验条件下破坏时间结构时，EEG分类的鲁棒性。
• 指出[1]分析中的方法论缺陷，特别是关于个体受试者分类和实验持续时间过长的问题。
• 倡导EEG研究中采用恰当的实验设计，强调缩短会话时长并使用合并的受试者数据，以避免虚假相关性。

提出的方法

• 在应用适当的数据过滤后，使用最先进的分类模型对[2]中的EEG数据集进行再分析。
• 在两种修改后的实验设置下评估分类性能：一种复现[1]的快速设计协议，另一种分析空白屏幕间隔期间的数据。
• 通过比较不同条件下的分类准确率，隔离时间相关性对模型性能的贡献。
• 人为在数据中引入时间相关性，以验证高分类性能是否可由此类伪影引起。
• 使用合并的受试者数据而非个体受试者分类，以避免学习受试者特有的个体动态。
• 应用标准认知神经科学原则，例如将会话时长限制在8分钟以内，以减少注意力漂移并保持刺激驱动的神经反应。

实验结果

研究问题

• RQ1 块设计EEG实验中的时间相关性是否显著提高分类准确率？
• RQ2 当时间结构被移除或改变时，分类性能如何变化？
• RQ3 [1]中的方法论选择（如个体受试者分类和长时间会话）在多大程度上导致了相关性效应的夸大？
• RQ4 当时间相关性被最小化时，[2]中的原始EEG数据集是否仍能支持有意义的分类？
• RQ5 在基于EEG的脑机接口研究中，哪些实验设计原则可减轻时间相关性偏差？

主要发现

• [2]中的原始EEG数据集仅表现出微弱的时间相关性，与[1]中声称的时间相关性主导分类性能的断言相矛盾。
• 当使用空白屏幕间隔期间的数据时，分类准确率降至随机水平，表明时间相关性对性能的贡献极小。
• 在[1]的快速设计协议被重新实现后，性能仍接近随机水平，进一步削弱了时间相关性偏差普遍存在的说法。
• 必须人为引入时间相关性才能复现[1]中报告的高分类准确率，表明其结果源于数据污染，而非EEG结构本身。
• [2]中采用的合并受试者分类降低了学习虚假受试者特异性动态的风险，而[1]中使用的个体受试者方法则加剧了偏差。
• [2]中采用的较短会话时长（低于8分钟）保持了刺激驱动的神经活动，减少了缓慢漂移，支持了块设计在EEG研究中的有效性。