[論文レビュー] An Open-Access Multi-modal Dataset for Cognitive, Motor, and Cognitive-Motor Tasks

Zaineb Ajra, Grégoire Vergotte+6 more|arXiv (Cornell University)|Mar 24, 2026

Optical Imaging and Spectroscopy Techniques被引用数 0

ひとこと要約

tldr: オープンアクセスのマルチモーダルデータセット（EEG、fNIRS、ECG、行動・主観的指標）を、7つの認知・運動・認知–運動タスクにわたり健常参加者30名から収集、BIDS形式で保存しOpenNeuroで提供。タスク難易度と神経パターン（特にEEGチャンネルレベルデータ）との関連を示す初期検証を含む。

ABSTRACT

The incorporation of neuroimaging techniques such as electroenchephalography (EEG) and functional near-infrared spectroscopy (fNIRS) has provided new opportunities for the analysis of dynamic brain processes involved in cognitive and motor functions. Despite the great contribution of the open-access neuroimaging datasets to neuroscience studies, they have mainly remained on a single modality and isolated task paradigms performed in a controlled environments. These limitations restrict the analysis of multi-task effects in real-world applications, thus creating a gap in the understanding of how cognitive and motor processes interact in daily life activities. To address these limitations, we present a multi-modal dataset containing neurophysiological (EEG, fNIRS), physiological (ECG), behavioral, and subjective measures collected from 30 healthy participants over three sessions. This dataset includes a hierarchical series of seven tasks ranging from single cognitive and motor activities, such as N-back, motor, passive motor, mental arithmetic and motor imagery, to combined cognitive-motor interactions simulating real life scenarios. This raw dataset provides a resource for developing advanced preprocessing methods and analysis pipelines, with potential applications in brain-computer interfaces, neurorehabilitation, and other fields requiring an understanding of multi-tasks brain dynamics. https://doi.org/10.18112/openneuro.ds007554.v1.0.0

研究の動機と目的

• 生態学的に妥当なマルチモーダル神経画像計測を、階層的タスク構造の認知と運動を組み合わせることで動機づける。
• 前処理パイプラインとマルチモーダル解析手法の開発を可能にする raw で公開可能なデータセットを提供する。
• 実世界に近いシナリオにおける認知・運動・組み合わせタスク条件間の脳–行動相互作用の研究を可能にする。

提案手法

• 三つのセッションにわたる同時EEG（32チャンネル）およびfNIRS（前頭前野および運動感覚皮質）記録。
• 生理データ（ECG）および行動データ（押下ボタン、Biodexトルク）と主観的指標（KSS、タスク難易度）を収集。
• 階層的に配置された7タスクを設計：Mental Arithmetic、N-back、Motor Imagery、Passive Motor、Active Motor、NB-MA、そして Full NB-MA-Act-Mot。
• イベントマーカー付きで整列したXDFデータを生成するようLab Streaming Layerを用いてマルチモーダルストリームを同期。
• 事前処理なしで、BIDS構造形式（EEG .edf、fNIRS .snirf、生理/行動データ .tsv/.json）でデータを提供。
• 前処理パイプラインを規定するものではなく、ベンチマークとしての検証分析（EEG/ fNIRS前処理、RSA）を提供。

Figure 1: Experimental paradigm overview

実験結果

リサーチクエスチョン

• RQ1 認知タスクと運動タスクが、それぞれおよび組み合わせで、EEGとfNIRSの神経信号をどのように調整するか？
• RQ2 EEGとfNIRSのパターンは主観的タスク難易度を反映し、全頭レベルまたはチャンネル特異的レベルでこれが現れるか？
• RQ3 rawなマルチモーダルBIDSデータセットは、前処理パイプラインとマルチモーダル融合手法の開発を支援できるか？
• RQ4 EEG、fNIRS、生理データを用いた認知–運動相互作用をデコード・特徴付けする実現性はどの程度か？

主な発見

• 7条件を通じて主観的タスク難易度が系統的に変動し、マルチタスクの方が単一タスクより難易度が高かった。
• EEGチャンネルレベルのRSAは、前頭部・頭頂部・側頭部のいくつかのチャンネルで neural pattern と task difficulty の間に有意な相関を示したが、全頭レベルのEEGではこの関係は現れなかった。
• fNIRS RSAは、グループ分析で O2Hb または HHb 信号のチャンネルレベルで多重比較補正後に有意な相関を示さなかったが、データ品質はチャンネルレベルの解釈を支持。
• 前処理・検証パイプライン（EEG PREP、clean_rawdata、Homer3、qt-nirs）は報告された効果を再現でき、多様な解析の生データの有用性を示す。
• このデータセットは、より現実的な認知–運動文脈における多変量解析・デコード・BCIベンチマークの探求を可能にする。

Figure 2: Configuration of the experimental fNIRS-EEG system. Left: picture of the head cap (rear view). Right: spatial layout of the 32-channel EEG electrodes arranged according to the international 10–20 system.