[논문 리뷰] Correct block-design experiments mitigate temporal correlation bias in EEG classification

Simone Palazzo, Concetto Spampinato외 4명|arXiv (Cornell University)|2020. 11. 25.

EEG and Brain-Computer Interfaces인용 수 4

한 줄 요약

이 논문은 블록 설계 EEG 실험에서 시간적 상관관계로 인해 잘못된 분류 결과가 유도된다는 주장을 반박한다. 원본 데이터셋을 철저히 재분석한 결과, 시간적 상관관계는 극히 미미하며, 시간적 구조가 손상된 상황에서도 분류 성능이 유의미하게 유지됨을 입증함으로써 EEG 연구에서 블록 설계에 대한 일반적인 비판을 반박한다.

ABSTRACT

It is argued in [1] that [2] was able to classify EEG responses to visual stimuli solely because of the temporal correlation that exists in all EEG data and the use of a block design. We here show that the main claim in [1] is drastically overstated and their other analyses are seriously flawed by wrong methodological choices. To validate our counter-claims, we evaluate the performance of state-of-the-art methods on the dataset in [2] reaching about 50% classification accuracy over 40 classes, lower than in [2], but still significant. We then investigate the influence of EEG temporal correlation on classification accuracy by testing the same models in two additional experimental settings: one that replicates [1]'s rapid-design experiment, and another one that examines the data between blocks while subjects are shown a blank screen. In both cases, classification accuracy is at or near chance, in contrast to what [1] reports, indicating a negligible contribution of temporal correlation to classification accuracy. We, instead, are able to replicate the results in [1] only when intentionally contaminating our data by inducing a temporal correlation. This suggests that what Li et al. [1] demonstrate is that their data are strongly contaminated by temporal correlation and low signal-to-noise ratio. We argue that the reason why Li et al. [1] observe such high correlation in EEG data is their unconventional experimental design and settings that violate the basic cognitive neuroscience design recommendations, first and foremost the one of limiting the experiments' duration, as instead done in [2]. Our analyses in this paper refute the claims of the "perils and pitfalls of block-design" in [1]. Finally, we conclude the paper by examining a number of other oversimplistic statements, inconsistencies, misinterpretation of machine learning concepts, speculations and misleading claims in [1].

연구 동기 및 목표

• 시간적 상관관계로 인해 블록 설계 EEG 실험에서 잘못된 분류 결과가 유도된다는 주장을 반박하기 위해.
• 참고문헌 [2]의 원본 EEG 데이터셋이 [1]에서 주장한 바와 같이 강한 시간적 상관관계를 보이지 않음을 입증하기 위해.
• 시간적 구조가 손상된 조건에서도 EEG 분류 성능이 얼마나 견고한지 검증하기 위해.
• 특히 개인별 분류 및 장시간 실험 기간에 대한 분석에서 [1]의 방법론적 결함을 부각하기 위해.
• 시간적 상관관계 편향을 피하기 위해 짧은 세션 기간과 통합된 피실험자 데이터를 활용한 적절한 실험 설계를 촉진하기 위해.

제안 방법

• 적절한 데이터 필터링을 적용한 후, 최신 분류 모델을 사용하여 [2]의 EEG 데이터셋을 재분석하였다.
• 두 가지 수정된 실험 설정에서 분류 성능을 평가하였다: 하나는 [1]의 빠른 설계 프로토콜을 재현한 것이고, 다른 하나는 빈 화면 간격 동안 데이터를 분석한 것이다.
• 조건 간 분류 정확도를 비교하여 시간적 상관관계가 모델 성능에 기여하는 정도를 분리하였다.
• 인위적으로 시간적 상관관계를 데이터에 도입하여 높은 성능가가 이러한 오염 요소에 의해 유도되는지 확인하였다.
• 개별 피실험자 분류가 아닌 통합된 피실험자 데이터를 사용하여 개인별 고유한 동적 특성 학습을 방지하였다.
• 세션 기간을 8분 이내로 제한하여 주의력의 산란을 줄이고 자극 유도 신경 반응을 유지하기 위해 표준 인지신경과학 원칙을 적용하였다.

실험 결과

연구 질문

• RQ1 블록 설계 EEG 실험에서 시간적 상관관계가 분류 정확도를 유의미하게 과대평가하는가?
• RQ2 시간적 구조가 제거되거나 변경되었을 때 분류 성능은 어떻게 변화하는가?
• RQ3 [1]의 방법론적 선택, 특히 개인별 분류 및 장시간 세션 기간이 상관관계 효과를 과대평가하는 데 기여하는 정도는 어느 정도인가?
• RQ4 시간적 상관관계가 최소화된 상태에서 [2]의 원본 EEG 데이터셋이 여전히 의미 있는 분류를 지원할 수 있는가?
• RQ5 EEG 기반 뇌-컴퓨터 인터페이스 연구에서 시간적 상관관계 편향을 완화하기 위한 실험 설계 원칙은 무엇인가?

주요 결과

• 참고문헌 [2]의 원본 EEG 데이터셋은 [1]에서 주장한 바와 같이 강한 시간적 상관관계를 보이지 않으며, 이는 분류 성능를 지배하는 주요 요인로 작용하지 않음을 시사한다.
• 빈 화면 간격 동안의 데이터를 사용했을 때 분류 정확도가 우연 수준으로 떨어졌으며, 이는 시간적 상관관계가 성능에 미치는 기여가 극히 미미함을 나타낸다.
• [1]의 빠른 설계 프로토콜을 재현한 결과에서도 성능이 우연 수준에 머물렀으며, 이는 시간적 상관관계 편향이 광범위하게 존재한다는 주장에 대한 추가적인 반박이 된다.
• 인위적으로 시간적 상관관계를 유도하지 않으면서 [1]에서 보고한 높은 분류 정확도를 재현할 수 없었으며, 이는 그 결과가 EEG의 본질적 구조 때문이 아니라 데이터 오염으로 인한 것임을 시사한다.
• [2]에서 사용한 통합된 피실험자 분류 방식은 개인별 고유한 동적 특성 학습의 위험을 줄였으며, 반면 [1]의 개인별 분류 방식은 편향을 악화시켰다.
• [2]에서 사용한 짧은 세션 기간(8분 이내)은 자극 유도 신경 활동을 유지하고 천천히 변화하는 신호를 줄여, 블록 설계가 EEG 연구에서 타당함을 뒷받침한다.