[論文レビュー] Scaling laws for decoding images from brain activity

Hubert Banville, Yohann Benchetrit+3 more|ArXiv.org|Jan 25, 2025

Neural Networks and Applications被引用数 3

ひとこと要約

この論文は、EEG、MEG、3T fMRI、7T fMRI の4つの非侵襲的神経画像法からの単一試行画像デコーディングを8つの公開データセットで体系的に比較し、データ量と被験者数のスケーリング法を導出する。

ABSTRACT

Generative AI has recently propelled the decoding of images from brain activity. How do these approaches scale with the amount and type of neural recordings? Here, we systematically compare image decoding from four types of non-invasive devices: electroencephalography (EEG), magnetoencephalography (MEG), high-field functional Magnetic Resonance Imaging (3T fMRI) and ultra-high field (7T) fMRI. For this, we evaluate decoding models on the largest benchmark to date, encompassing 8 public datasets, 84 volunteers, 498 hours of brain recording and 2.3 million brain responses to natural images. Unlike previous work, we focus on single-trial decoding performance to simulate real-time settings. This systematic comparison reveals three main findings. First, the most precise neuroimaging devices tend to yield the best decoding performances, when the size of the training sets are similar. However, the gain enabled by deep learning - in comparison to linear models - is obtained with the noisiest devices. Second, we do not observe any plateau of decoding performance as the amount of training data increases. Rather, decoding performance scales log-linearly with the amount of brain recording. Third, this scaling law primarily depends on the amount of data per subject. However, little decoding gain is observed by increasing the number of subjects. Overall, these findings delineate the path most suitable to scale the decoding of images from non-invasive brain recordings.

研究の動機と目的

• 脳活動から画像埋め込みをデコードする際のデータ量とデバイス種別のスケーリングを評価する。
• 統一ベンチマークを用いて EEG、MEG、3T fMRI、7T fMRI の単一試行デコーディング性能を比較する。
• 学習データサイズ、被験者数、テスト時の平均化がデコーディング性能に与える影響を明らかにする。
• 潜在画像埋め込みを用いたデコード性能を評価し、再構成と呼返能力を評価する。

提案手法

• 2つの脳-画像アーキテクチャ（M/EEG および fMRI 深層学習モジュール）とリッジ線形ベースラインを用いて、脳活動から画像埋め込みを予測する。
• 脳信号を画像埋め込みへマッピングするため、CLIP風のリトリーバル損失と再構成損失を組み合わせて学習する。
• 8つの公開データセットを対象に評価し、埋め込み間のピアソン相関で単一試行性能を測定する。
• トレーニング試行数と被験者数、記録時間およびテスト時平均化を変化させてスケーリング法を分析する。
• デコードした埋め込みを事前学習済みの拡散型ジェネレーターに入力して画像を生成することで、画像再構成を実装する。

実験結果

リサーチクエスチョン

• RQ1 EEG、MEG、3T fMRI、7T fMRI それぞれの脳データ量が単一試行画像デコーディング性能をどのようにスケールさせるか？
• RQ2 同程度の学習データを用いた場合、どの神経画像法が最も良いデコーディング性能を示すか、深層学習はこれをどの程度拡張または抑制するか？
• RQ3 被験者数を増やすことはデコーディング性能にどのような影響を与え、効果が頭打ちになるポイントはあるか？
• RQ4 テスト時の平均化はデバイス間でデコーディング性能にどのような影響を与えるか？
• RQ5 デコードされた画像埋め込みは画像検索と再構成をサポートできるか、デバイスごとにこれらの能力はどのように変わるか？

主な発見

• デコーディング性能はEEGおよびMEGで早くピークし、fMRIでは後半にピークするのは血流反応タイミングのため。
• 深層学習デコーダは、特にEEGとMEGのようにノイズが大きいデバイスに対して、線形ベースラインより substantial な利得を提供する。
• デコーディング性能は脳記録データ量と対数線形にスケールし、7T fMRI が最も強いスケーリングと全体的に最高の性能を示す。
• データ増加による利得は主に各被験者ごとのデータ量から生じ、被験者数を増やしても限られた改善しか得られない。
• テスト時の平均化は一貫した性能利得を生むが、反復回数が増えるとリターンが頭打ちになる。
• 画像検索と再構成はデバイスを問わず可能であり、反復および被験者間の埋め込みを平均化すると再構成が改善され、7T fMRI が最も良い再構成をもたらす。