[논문 리뷰] Transfer Learning from ImageNet for MEG-Based Decoding of Imagined Speech

Soufiane Jhilal, Stéphanie Martin외 1명|arXiv (Cornell University)|2026. 01. 22.

Phonetics and Phonology Research인용 수 0

한 줄 요약

논문은 MEG 신호를 이미지와 같은 시-주파수 표현으로 변환하고 이미지넷 사전학습 비전 모델을 적용해 상상 발화를 해독하며, 과제 및 피실험자 전반에 걸쳐 높은 정확도를 달성합니다.

ABSTRACT

Non-invasive decoding of imagined speech remains challenging due to weak, distributed signals and limited labeled data. Our paper introduces an image-based approach that transforms magnetoencephalography (MEG) signals into time-frequency representations compatible with pretrained vision models. MEG data from 21 participants performing imagined speech tasks were projected into three spatial scalogram mixtures via a learnable sensor-space convolution, producing compact image-like inputs for ImageNet-pretrained vision architectures. These models outperformed classical and non-pretrained models, achieving up to 90.4% balanced accuracy for imagery vs. silence, 81.0% vs. silent reading, and 60.6% for vowel decoding. Cross-subject evaluation confirmed that pretrained models capture shared neural representations, and temporal analyses localized discriminative information to imagery-locked intervals. These findings show that pretrained vision models applied to image-based MEG representations can effectively capture the structure of imagined speech in non-invasive neural signals.

연구 동기 및 목표

• 제한된 라벨 데이터로 비침습적 상상 발화 해독을 동기 부여합니다.
• 사전 학습된 비전 모델과 호환되는 이미지 기반 MEG 표현을 제안합니다.
• 상상 발화 과제에 대한 ImageNet-사전학습 디코더의 교차 피험자 일반화를 평가합니다.

제안 방법

• 세 가지 공간 스콸로그램 혼합을 통해 MEG 데이터를 시-주파수 표현으로 변환합니다.
• 학습 가능한 센서-공간 합성곱을 사용해 컴팩트한 이미지 유사 입력을 생성합니다.
• ImageNet-사전 학습 비전 구조를 이미지 기반 MEG 입력에 적용합니다.
• 전통적 및 사전 학습되지 않은 모델과 비교 평가하여 성능 향상을 확인합니다.

실험 결과

연구 질문

• RQ1 이미지 기반 MEG 신호 표현이 사전학습 비전 모델로 상상 발화를 효과적으로 해독하게 할 수 있습니까?
• RQ2 ImageNet-사전학습 모델은 상상 발화 과제에서 피실험자 간 공유 신경 표현을 포착합니까?
• RQ3 상상 발화에서 구별 신호가 시간의 어느 구간에서 나타나나요?

주요 결과

• 이미지 대 침묵 구분에서 최대 90.4%의 균형 정확도를 달성했습니다.
• 이미지 대 읽기(소리 없는)에서 81.0% 정확도를 달성했습니다.
• 모음 해독에서 60.6% 정확도를 달성했습니다.
• 교차 피실험자 평가에서 사전학습 모델이 공유 신경 표현을 포착함을 나타냅니다.
• 시간적 분석에서 구별 정보가 imagery-locked 구간으로 국소화됩니다.