[論文レビュー] Transfer Learning from ImageNet for MEG-Based Decoding of Imagined Speech

Soufiane Jhilal, Stéphanie Martin+1 more|arXiv (Cornell University)|Jan 22, 2026

Phonetics and Phonology Research被引用数 0

ひとこと要約

この論文は MEG 信号を画像風の時頻度表現に変換し、ImageNet 事前学習済みのビジョンモデルを用いて想起発話をデコードする。タスクおよび被験者を跨いで高い精度を達成する。

ABSTRACT

Non-invasive decoding of imagined speech remains challenging due to weak, distributed signals and limited labeled data. Our paper introduces an image-based approach that transforms magnetoencephalography (MEG) signals into time-frequency representations compatible with pretrained vision models. MEG data from 21 participants performing imagined speech tasks were projected into three spatial scalogram mixtures via a learnable sensor-space convolution, producing compact image-like inputs for ImageNet-pretrained vision architectures. These models outperformed classical and non-pretrained models, achieving up to 90.4% balanced accuracy for imagery vs. silence, 81.0% vs. silent reading, and 60.6% for vowel decoding. Cross-subject evaluation confirmed that pretrained models capture shared neural representations, and temporal analyses localized discriminative information to imagery-locked intervals. These findings show that pretrained vision models applied to image-based MEG representations can effectively capture the structure of imagined speech in non-invasive neural signals.

研究の動機と目的

• 限られたラベル付きデータで非侵襲的な想起発話デコードを動機づける。
• 事前学習済み視覚モデルと適合する画像ベースのMEG表現を提案する。
• 想起発話タスクにおけるImageNet事前学習デコーダの跨個体一般化を評価する。

提案手法

• 三つの空間的スカログラム混合を用いてMEGデータを時-周波数表現に変換する。
• 学習可能なセンサ空間畳み込みを用いてコンパクトな画像風入力を生成する。
• ImageNet事前学習済みの視覚アーキテクチャを画像ベースのMEG入力に適用する。
• 古典的および事前学習なしモデルと比較して性能向上を評価する。

実験結果

リサーチクエスチョン

• RQ1 MEG信号の画像ベース表現は、事前学習済み視覚モデルを用いて想起発話を効果的にデコードできるか。
• RQ2 ImageNet事前学習モデルは、想起発話タスクにおける個体間で共有される神経表現を捉えているか。
• RQ3 想起発話の識別情報は時間のどこで現れるか。

主な発見

• 想像と無音の分類で最大 90.4% のバランス精度を達成。
• 想像と無音読解の分類で 81.0% の精度を達成。
• 子音デコードで 60.6% の精度を達成。
• 跨個体評価は事前学習モデルが共有された神経表現を捉えていることを示唆。
• 時間的分析により識別情報が想像 locked 間隔に局在することを示唆。