[論文レビュー] Correct block-design experiments mitigate temporal correlation bias in EEG classification

Simone Palazzo, Concetto Spampinato+4 more|arXiv (Cornell University)|Nov 25, 2020

EEG and Brain-Computer Interfaces被引用数 4

ひとこと要約

本論文は、時間的相関がブロック設計EEG実験において誤った分類結果を生じるとの主張に応える。元のデータセットを厳密に再分析した結果、時間的相関は最小限であり、時間的構造を破壊しても分類性能は依然として有意であることが示され、EEG研究におけるブロック設計の批判は根拠に欠けることが裏付けられた。

ABSTRACT

It is argued in [1] that [2] was able to classify EEG responses to visual stimuli solely because of the temporal correlation that exists in all EEG data and the use of a block design. We here show that the main claim in [1] is drastically overstated and their other analyses are seriously flawed by wrong methodological choices. To validate our counter-claims, we evaluate the performance of state-of-the-art methods on the dataset in [2] reaching about 50% classification accuracy over 40 classes, lower than in [2], but still significant. We then investigate the influence of EEG temporal correlation on classification accuracy by testing the same models in two additional experimental settings: one that replicates [1]'s rapid-design experiment, and another one that examines the data between blocks while subjects are shown a blank screen. In both cases, classification accuracy is at or near chance, in contrast to what [1] reports, indicating a negligible contribution of temporal correlation to classification accuracy. We, instead, are able to replicate the results in [1] only when intentionally contaminating our data by inducing a temporal correlation. This suggests that what Li et al. [1] demonstrate is that their data are strongly contaminated by temporal correlation and low signal-to-noise ratio. We argue that the reason why Li et al. [1] observe such high correlation in EEG data is their unconventional experimental design and settings that violate the basic cognitive neuroscience design recommendations, first and foremost the one of limiting the experiments' duration, as instead done in [2]. Our analyses in this paper refute the claims of the "perils and pitfalls of block-design" in [1]. Finally, we conclude the paper by examining a number of other oversimplistic statements, inconsistencies, misinterpretation of machine learning concepts, speculations and misleading claims in [1].

研究の動機と目的

• 時間的相関が原因でブロック設計EEG実験が誤った分類結果を生じるとの主張を反証すること。
• 文献[2]の元のEEGデータセットは、文献[1]の主張とは異なり、弱い時間的相関しか示さないことを実証すること。
• 時間的構造を破壊する制御された実験条件下でもEEG分類の堅牢性を検証すること。
• 文献[1]の分析における方法論的欠陥、特に被験者ごとの分類と長時間の実験期間に関する問題点を指摘すること。
• 注意のずれや刺激駆動神経応答の維持を高めるために、短時間のセッション期間と被験者データのプールを重視した適切なEEG研究の実験設計を提唱すること。

提案手法

• 適切なデータフィルタリングを施した後、最新の分類モデルを用いて文献[2]のEEGデータセットを再分析した。
• 2つの変更された実験設定下での分類性能を評価した：1つは[1]の高速設計プロトコルを再現したもの、もう1つは空白画面間隔中のデータを分析したもの。
• 時間的相関がモデル性能に与える寄与を分離するために、条件間での分類精度を比較した。
• 人工的に時間的相関をデータに導入し、そのようなアーチファクトによって高い性能が得られるかどうかを検証した。
• 被験者固有の動的特性を学習するリスクを避けるために、被験者ごとの分類ではなく、被験者データをプールして使用した。
• セッション期間を8分未満に制限するなど、標準的な認知神経科学的原則を適用し、注意のずれを低減し、刺激駆動神経応答を維持した。

実験結果

リサーチクエスチョン

• RQ1 ブロック設計EEG実験における時間的相関が分類精度を著しく高めているか？
• RQ2 時間的構造が取り除かれたり変更されたりした場合、分類性能はどのように変化するか？
• RQ3 文献[1]の方法論的選択、特に被験者ごとの分類と長時間の実験期間が、相関効果の過大評価にどの程度寄与しているか？
• RQ4 文献[2]の元のEEGデータセットは、時間的相関を最小限に抑えた状態でも意味のある分類を可能にするか？
• RQ5 EEGベースのブレインコンピュータインターフェース研究において、時間的相関バイアスを軽減するための実験設計原則は何か？

主な発見

• 文献[2]の元のEEGデータセットは、時間的相関が弱く、文献[1]が主張するように分類性能を支配するような相関は示さない。
• 空白画面間隔中のデータを用いた場合、分類精度は偶然レベルまで低下したため、時間的相関が性能に与える寄与は最小限であることが示された。
• [1]の高速設計プロトコルを再実装した場合でも、性能は偶然レベルに留まり、時間的相関バイアスが広く存在するとの主張はさらに揺るがされた。
• 文献[1]が報告した高い分類精度を再現するには、人工的に時間的相関を導入する必要があったため、その結果はデータ汚染に起因し、EEG構造そのものに由来するものではないと示唆された。
• 文献[2]の被騟能動者データプールは、文献[1]の被験者ごとの分類とは異なり、誤った被験者固有の動的特性を学習するリスクを低減した。
• 文献[2]で用いられた短時間のセッション期間（8分未満）は、刺激駆動神経活動を維持し、ゆっくりとしたドリフトを低減したため、EEG研究におけるブロック設計の有効性を支持するものであった。