[論文レビュー] Decoding natural image stimuli from fMRI data with a surface-based convolutional network

Zijin Gu, K. A. Jamison+2 more|arXiv (Cornell University)|Dec 5, 2022

CCD and CMOS Imaging Sensors被引用数 13

ひとこと要約

本論文では、皮質トポロジーと変分学習アプローチを用いたインスタンス条件付きGANを活用することで、fMRIデータから自然画像の刺激を復元する新しい表面ベースの畳み込みニューラルネットワーク、Cortex2Imageを提案する。全皮質にわたる脳活動の空間的関係をモデル化することで、従来手法に比べて画質的・定量的指標において優れた意味的整合性と詳細再構成性能を達成した。

ABSTRACT

Due to the low signal-to-noise ratio and limited resolution of functional MRI data, and the high complexity of natural images, reconstructing a visual stimulus from human brain fMRI measurements is a challenging task. In this work, we propose a novel approach for this task, which we call Cortex2Image, to decode visual stimuli with high semantic fidelity and rich fine-grained detail. In particular, we train a surface-based convolutional network model that maps from brain response to semantic image features first (Cortex2Semantic). We then combine this model with a high-quality image generator (Instance-Conditioned GAN) to train another mapping from brain response to fine-grained image features using a variational approach (Cortex2Detail). Image reconstructions obtained by our proposed method achieve state-of-the-art semantic fidelity, while yielding good fine-grained similarity with the ground-truth stimulus. Our code is available at: https://github.com/zijin-gu/meshconv-decoding.git.

研究の動機と目的

• 領域選択（ROI）に基づく手法やベクトル化されたボクセル応答に依存する従来のfMRIベースの画像復元手法が、皮質の空間的トポロジーを無視し、主観的要因を導入するという限界を解消すること。
• 表面ベースの畳み込みを用いて皮質表面活動の2次元空間的構造をモデル化することで、画像再構成品質の向上を図ること。
• 事前学習済みの画像生成器（IC-GAN）を用いた変分アプローチにより、エンドツーエンドで統合されたCortex2Detailモデルを学習することで、計算効率と再構成忠実度を向上させること。
• 全皮質fMRI応答から、最先端の手法を上回る意味的整合性と豊富な微細な詳細を有する画像を再構成すること。
• 被験者固有のモデルが他の被験者間で一般化できないことの実証を通じて、個別化されたが共有可能なアーキテクチャフレームワークの必要性を強調すること。

提案手法

• 本手法は、標準化された皮質メッシュ表現を用いて空間的トポロジーを保持する、全皮質fMRI応答を意味的画像特徴にマップする表面ベースの畳み込みニューラルネットワーク（Cortex2Semantic）を採用する。
• 2番目のモデルであるCortex2Detailは、事前学習済みのインスタンス条件付きGAN（IC-GAN）とエンドツーエンドで学習され、変分推論フレームワークを用いて脳応答から高忠実度の画像詳細を生成する。
• IC-GANは学習中に固定され、詳細ベクトルは変分オートエンコーダーに類似した最適化により推定されるため、従来の手法で用いられる繰り返しのノイズベクトル最適化の必要性が低減される。
• 本フレームワークは、8名の被験者が7Tでスキャンされ、9,000～10,000枚の自然画像を視認したNatural Scenes Dataset（NSD）を用い、モデルの学習と評価に使用する。
• 脳応答は標準化された皮質表面メッシュを用いて処理され、ROI依存の前処理を回避し、被験者間で共通のアーキテクチャを実現する。
• 特徴レベルの監視と画像レベルの現実性に関する adversarial 学習を組み合わせることで、意味的および詳細再構成の両方を統合的に最適化する。

実験結果

リサーチクエスチョン

• RQ1 皮質表面の2次元トポロジーを尊重する表面ベースの畳み込みネットワークは、ベクトル化されたボクセルアプローチに比べ、fMRIからの意味的および微細な画像再構成を向上させ得るか？
• RQ2 事前学習済みのGANとエンドツーエンドで学習することで、ノイズベクトルの繰り返し最適化に比べ、計算コストを低減し、再構成品質を向上させ得るか？
• RQ3 限定されたROIではなく、全皮質活動をモデル化することで、復元性能と被験者間での一般化性がどの程度向上するか？
• RQ4 提案手法のモデルは、最先端の手法と比較して、意味的正確性と真値刺激との知覚的類似性において、どの程度優れているか？
• RQ5 被験者固有のモデルが一般化に失敗する理由は何か？この現象は、神経復元タスクにおける被験者間復元の可能性にどのような影響を及えるか？

主な発見

• Cortex2Imageモデルは、画像再構成において最先端の意味的整合性を達成し、正しく解釈された例ではキリン、電車、飛行機などの物体カテゴリを的確に特定している。
• 従来の手法で失われる傾向にある、キリンの縞模様、食べ物の色、物体の向き、空間的配置（例：線路上の電車、空に浮かぶ飛行機）といった微細な詳細を、本モデルは保持している。
• RidgeImageベースラインと比較して、SSIMを除くすべての評価指標でCortex2Imageが優れている。FID、LPIPS、CLIPスコアの大幅な向上により、より優れた知覚的・意味的品質が示された。
• Cortex2Semanticモデル単体では物体カテゴリを捉えることは可能だが、微細な詳細の再構成に失敗する。一方、Cortex2Imageの完全なモデルは詳細忠実度を顕著に向上させ、意味的および詳細の統合学習の価値を示している。
• RidgeImageベースラインは、一部の意味的正確性を示すものの、視覚的品質は著しく劣っており、手作業で設計された特徴量と空間的でないモデリングの限界を浮き彫りにしている。
• 被験者固有のモデルは他の被験者間で一般化せず、性能に顕著な差が生じる。これは、被験者間での信号対雑音比や神経応答特性の違いに起因すると考えられる。