[論文レビュー] Evaluating the structure of cognitive tasks with transfer learning

Bruno Aristimunha, Raphael De Camargo+4 more|arXiv (Cornell University)|Jul 28, 2023

EEG and Brain-Computer Interfaces参考文献 91被引用数 4

ひとこと要約

本研究では、ERP COREおよびM3 CVの2つの大規模なEEGデータセットを用い、11の認知タスクにおいて深層ニューラルネットワーク表現の評価を通じてEEGデコードのための転移学習マップを導入した。事前学習を1つのタスクで行うことで、線形プローブを用いたデコード性能が最大28%向上し、階層的なタスク関係を明らかにするとともに、データ効率の良い脳-コンピュータインターフェースの開発を可能にした。

ABSTRACT

Electroencephalography (EEG) decoding is a challenging task due to the limited availability of labelled data. While transfer learning is a promising technique to address this challenge, it assumes that transferable data domains and task are known, which is not the case in this setting. This study investigates the transferability of deep learning representations between different EEG decoding tasks. We conduct extensive experiments using state-of-the-art decoding models on two recently released EEG datasets, ERP CORE and M$^3$CV, containing over 140 subjects and 11 distinct cognitive tasks. We measure the transferability of learned representations by pre-training deep neural networks on one task and assessing their ability to decode subsequent tasks. Our experiments demonstrate that, even with linear probing transfer, significant improvements in decoding performance can be obtained, with gains of up to 28% compare with the pure supervised approach. Additionally, we discover evidence that certain decoding paradigms elicit specific and narrow brain activities, while others benefit from pre-training on a broad range of representations. By revealing which tasks transfer well and demonstrating the benefits of transfer learning for EEG decoding, our findings have practical implications for mitigating data scarcity in this setting. The transfer maps generated also provide insights into the hierarchical relations between cognitive tasks, hence enhancing our understanding of how these tasks are connected from a neuroscientific standpoint.

研究の動機と目的

• 認知タスク間での深層学習表現の転送可能性を調査することで、EEGデコードにおけるデータ不足問題に対処する。
• EEGデータを用いた神経科学的視点から、認知タスク間の階層的関係を理解する。
• EEGベースの脳-コンピュータインターフェースや臨床応用における効率的な転移学習を支援するための転送マップを開発する。
• 多様なEEGデコードパラダイムにおける線形プローブによる転送の有効性を評価し、転送可能な表現を同定する。
• 広範なまたは限定的な表現での事前学習がどのタスクに効果をもたらすかという実用的で神経科学的な知見を提供する。

提案手法

• ERP COREおよびM3 CVのラベル付きEEGデータを用い、最先端の深層学習モデル（例：EEGNet、EEGFormer）を1つの認知タスクで事前学習する。
• 特徴抽出器を固定した上で、線形分類器のみを用いて下流タスクで微調整することで、転送可能性を評価する（線形プローブ）。
• 11の異なる認知タスクの全ペア間でのデコード精度の向上を測定することで、転送マップを構築する。
• 140名を超える被験者を含み、多様なデコードモダリティ（例：N170、ERN、P300）を有する、最近リリースされた2つの大規模EEGデータセットを用い、一般化性を確保する。
• すべてのタスクにわたる標準化されたデータ前処理およびトレーニングプロトコルを適用することで、公平な比較と再現可能性を確保する。
• 被験者レベルの転送およびタスクレベルの転送を活用し、BCI非習得者問題の緩和を図るため、転移学習を活用する。

Figure 2: A. Data splitting and alignment. Source and target tasks correspond to different ERP and BCI paradigms; B. EEG decoding models as a representer network and a classification head; C. Standard EEG decoding training and evaluation; D. Transfer with linear probing. Only the classification head

実験結果

リサーチクエスチョン

• RQ1 事前学習済みの深層表現を用いた場合、EEGデコードにおけるどの認知タスクが他のタスクへ強く転送可能であるか？
• RQ2 低データ環境下において、線形プローブによる転送は、純粋な教師あり学習に比べてどの程度デコード性能を向上させるか？
• RQ3 神経表現の転送可能性に基づいて、認知タスク間にどのような階層的関係が存在するか？
• RQ4 特定のデコードパラダイムは、転送可能性を制限する高レベルの特異な脳活動パターンを誘発するのか？
• RQ5 転移学習マップは、共有の誘発成分を同定することで、EEGにおける源局在特定および機能的ネットワークモデリングを支援できるか？

主な発見

• 線形プローブによる転移学習は、純粋な教師あり学習に比べて、データが限られた環境下で最大28%のデコード性能向上を示し、顕著な向上効果を確認した。
• N170 や ERN のようなタスクは、他のタスクへの転送性が低く、特異的かつ狭い脳活動パターンを示していることが示された。
• 一方、P300 やモータイメージネーションなどのタスクは、広範な表現の事前学習により恩恵を受けており、一般化可能な神経特徴に依存していると考えられる。
• 転送マップは、複雑で非対称的な認知タスク間の階層的関係を明らかにした。一部のタスクは、複数の下流タスクへの効果的な事前学習ソースとして機能している。
• 類似した誘発成分と転送パターンから、密接に関連するタスクには共有の機能的ネットワークが存在することが示唆された。
• 転移学習マップは、被験者レベルでの高パフォーマンスタスクから低パフォーマンスタスクへの転送を可能にすることで、BCI非習得者問題の緩和に実用的な指針を提供する。

Figure 3: Illustration of experiments recorded in ERP CORE ( A to F ) and M 3 CVdatasets ( G to J ). Labels under the stimuli correspond to what subjects are supposed to answer during the trials. They do not necessarily correspond to decoding labels. A. In the active visual oddball task P3b, partici