[논문 리뷰] An Open-Access Multi-modal Dataset for Cognitive, Motor, and Cognitive-Motor Tasks

Zaineb Ajra, Grégoire Vergotte외 6명|arXiv (Cornell University)|2026. 03. 24.

Optical Imaging and Spectroscopy Techniques인용 수 0

한 줄 요약

오픈 액세스 멀티모달 데이터셋( EEG, fNIRS, ECG, 행동 및 주관적 측정치 )을 30명의 건강한 참가자에서 7개의 인지, 운동, 인지-운동 과제에 걸쳐 수집하고 BIDS 포맷으로 저장하여 OpenNeuro에서 이용 가능. 초기 검증에서 작업 난이도가 신경 패턴과 관련이 있으며 특히 EEG 채널 수준 데이터에서 나타남.

ABSTRACT

The incorporation of neuroimaging techniques such as electroenchephalography (EEG) and functional near-infrared spectroscopy (fNIRS) has provided new opportunities for the analysis of dynamic brain processes involved in cognitive and motor functions. Despite the great contribution of the open-access neuroimaging datasets to neuroscience studies, they have mainly remained on a single modality and isolated task paradigms performed in a controlled environments. These limitations restrict the analysis of multi-task effects in real-world applications, thus creating a gap in the understanding of how cognitive and motor processes interact in daily life activities. To address these limitations, we present a multi-modal dataset containing neurophysiological (EEG, fNIRS), physiological (ECG), behavioral, and subjective measures collected from 30 healthy participants over three sessions. This dataset includes a hierarchical series of seven tasks ranging from single cognitive and motor activities, such as N-back, motor, passive motor, mental arithmetic and motor imagery, to combined cognitive-motor interactions simulating real life scenarios. This raw dataset provides a resource for developing advanced preprocessing methods and analysis pipelines, with potential applications in brain-computer interfaces, neurorehabilitation, and other fields requiring an understanding of multi-tasks brain dynamics. https://doi.org/10.18112/openneuro.ds007554.v1.0.0

연구 동기 및 목표

• 생태학적으로 타당한 멀티모달 뉴로이미징 연구를 촉진하기 위해 계층적 작업 구조에서 인지와 운동 과제를 연결한다.
• 전처리 파이프라인 및 멀티모달 분석 방법 개발을 가능하게 하는 원시 데이터셋을 공개적으로 제공한다.
• 현실 세계를 모사한 시나리오에서 인지, 운동 및 결합 과제 조건 간의 뇌-행동 상호 작용에 대한 연구를 가능하게 한다.

제안 방법

• 세 세션에 걸쳐 동시 EEG (32 채널) 및 fNIRS (전전두엽 및 감각운동 피질) 기록.
• 생리학적 데이터(ECG) 및 행동 데이터(푸시 버튼, Biodex 토크)와 주관적 지표(KSS, task difficulty) 수집.
• 계층적으로 배치된 일곱 가지 과제 설계: Mental Arithmetic, N-back, Motor Imagery, Passive Motor, Active Motor, NB-MA, 및 Full NB-MA-Act-Mot.
• Lab Streaming Layer를 사용하여 다중 모달 스트림을 동기화하고 이벤트 마커가 포함된 정렬된 XDF 데이터를 생성한다.
• 전처리 없이 BIDS-구조 형식으로 데이터 제공 (EEG .edf, fNIRS .snirf, 생리/행동 .tsv/.json).
• 벤치마크로서 검증 분석(EEG/fNIRS 전처리, RSA)을 제공하되 미리 정해진 파이프라인은 아니다.

Figure 1: Experimental paradigm overview

실험 결과

연구 질문

• RQ1 인지 및 운동 과제가 단독으로 또는 결합되어 EEG 및 fNIRS 모듈에서 신경 신호를 어떻게 조절하는가?
• RQ2 EEG와 fNIRS 패턴이 주관적 과제 난이도를 반영하며, 이는 전체 두피 수준인지 채널별 수준에서 나타나는가?
• RQ3 원시 멀티모달 BIDS 데이터셋이 인지-운동 과제 분석을 위한 전처리 파이프라인 및 멀티모달 융합 방법의 개발을 지원할 수 있는가?
• RQ4 EEG, fNIRS, 및 생리학적 데이터를 사용한 인지-운동 상호작용의 디코딩이나 특성화 가능성은 어느 정도인가?

주요 결과

• 주관적 과제 난이도는 일곱 가지 조건에서 체계적으로 다양했으며 멀티태스킹이 단일 과제보다 더 높았다.
• EEG 채널 수준 RSA는 여러 전두, 중앙 및 측두 채널에서 신경 패턴과 과제 난이도 간의 유의한 상관관계를 보였으나 전체 두피 수준 EEG에서는 이 관계를 보이지 않았다.
• fNIRS RSA는 군집 분석에서 다중 비교 보정 후 채널 수준에서 O2Hb 또는 HHb 신호에 대한 유의한 상관관계가 나타나지 않았으나 데이터 품질은 채널 수준 해석을 뒷받침했다.
• 전처리 및 검증 파이프라인(EEG PREP, clean_rawdata, Homer3, qt-nirs)은 보고된 효과를 재현할 수 있어 원시 데이터가 다양한 분석에 유용하다는 것을 보여준다.
• 데이터셋은 보다 현실적인 인지-운동 맥 context에서 다변량 analyses, decoding 및 BCI 벤치마킹의 탐색을 가능하게 한다.

Figure 2: Configuration of the experimental fNIRS-EEG system. Left: picture of the head cap (rear view). Right: spatial layout of the 32-channel EEG electrodes arranged according to the international 10–20 system.