[論文レビュー] Multi-Region Neural Representation: A novel model for decoding visual stimuli in human brains

Muhammad Yousefnezhad, Daoqiang Zhang|arXiv (Cornell University)|Dec 26, 2016

Visual perception and processing mechanisms被引用数 3

ひとこと要約

本論文は、刺激ごとに活動領域を自動で特定し、スナップショットベースの神経活動表現を用いて視覚刺激の復元を向上させる、新しいfMRIベースの復元モデルであるMulti-Region Neural Representationを提案する。ROIレベルのガウス平滑化、L1正則化付きSVM、バギングを活用することで、ノイズとスパarsityを低減し、4つの視覚カテゴリー（語彙、子音、物体、無意味な画像）において最先端の精度とAUCを達成するとともに、計算コストを低減し、神経科学者による解釈可能性を向上させる。

ABSTRACT

Multivariate Pattern (MVP) classification holds enormous potential for decoding visual stimuli in the human brain by employing task-based fMRI data sets. There is a wide range of challenges in the MVP techniques, i.e. decreasing noise and sparsity, defining effective regions of interest (ROIs), visualizing results, and the cost of brain studies. In overcoming these challenges, this paper proposes a novel model of neural representation, which can automatically detect the active regions for each visual stimulus and then utilize these anatomical regions for visualizing and analyzing the functional activities. Therefore, this model provides an opportunity for neuroscientists to ask this question: what is the effect of a stimulus on each of the detected regions instead of just study the fluctuation of voxels in the manually selected ROIs. Moreover, our method introduces analyzing snapshots of brain image for decreasing sparsity rather than using the whole of fMRI time series. Further, a new Gaussian smoothing method is proposed for removing noise of voxels in the level of ROIs. The proposed method enables us to combine different fMRI data sets for reducing the cost of brain studies. Experimental studies on 4 visual categories (words, consonants, objects and nonsense photos) confirm that the proposed method achieves superior performance to state-of-the-art methods.

研究の動機と目的

• 視覚刺激復元におけるfMRIデータのノイズとスパarsityに起因する課題に対処する。
• 多変量パターン解析（MVP）における手動で定義された領域（ROIs）の限界を克服し、刺激に特化した自動的ROI検出を可能にする。
• 全fMRI時系列ではなく時間的スナップショットを分析することで、計算複雑性を低減し、モデルのロバスト性を向上させる。
• ボクセルレベルのパターンではなく、解剖的領域レベルの機能的活動表現を提供することで、神経科学者による解釈可能性を向上させる。
• 高価な正規化を要しないまま、異種fMRIデータセットを統合可能にすることで、脳研究のコストを削減し、研究の強靭性を高める。

提案手法

• 平滑化されたデザイン行列における局所的最大値を特定することで、各視覚刺激の脳活動の時間的スナップショットを抽出し、ピーク応答時における神経活動を表現する。
• fMRIデータを標準空間に変換し、自動的に検出された解剖的領域に各スナップショットをセグメンテーションすることで、動的で刺激に特化したROIを定義する。
• 新たなROIレベルのガウス平滑化法を適用し、ボクセルノイズを低減するとともに、領域レベルでの機能的信号の整合性を保持する。
• ROIレベルでの二値分類にL1正則化付きサポートベクターマシン（SVM）を採用し、スパarsityと特徴選択を確保する。
• 個々のROIレベル分類器をバギングアンサンブル法で統合し、ロバストな多変量パターン（MVP）分類器を構築する。
• 被験者レベルでのleave-one-out交差検証を用いて、複数のデータセット（DS105、DS107、DS117）および統合データの性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 全fMRI時系列ではなく、脳活動のスナップショットを用いるモデルが、復元性能の向上とスパarsityの低減に寄与するか？
• RQ2 刺激に特化した自動的ROI検出が、MVPベースの視覚刺激復元において、手動で選択されたROIsを上回る性能を発揮するか？
• RQ3 ボクセルレベルまたは標準的な平滑化と比較して、ROIレベルのガウス平滑化がノイズ低減と分類精度の向上に寄与するか？
• RQ4 正規化を要しないで、異種fMRIデータセットを効果的に統合できるか。これにより、研究コストの削減とモデルの強靭性の向上が図れるか？
• RQ5 Multi-Region Neural Representationモデルが、刺激効果を特定の解剖的脳領域に結びつけることで、神経科学者による解釈可能性をどの程度向上させるか？

主な発見

• 提案手法は、語彙、子音、物体、無意味な画像の4つの視覚カテゴリーにおいて、SVM、Graph Net、Elastic Net、L1正則化付きSVMといった最先端手法を上回る優れた分類精度とAUCを達成した。
• DS105、DS107、DS117の全データセットを統合した場合、他の手法が正規化の課題により顕著な性能低下を示す中、本手法は高い性能を維持した。
• スナップショットベースの神経表現の採用により、データのスパarsityと計算複雑性が低減され、トレーニング時間が短縮され、メモリ使用量も削減された。
• ROIレベルのガウス平滑化は、ノイズ低減を効果的に行いながらも、機能的信号を保持することができ、モデルのロバスト性と精度の向上に寄与した。
• 自動的に検出された解剖的領域における刺激効果の可視化が可能となり、神経科学者にとって、刺激と脳領域の活動の関連を明確に把握できるようになった。
• フレームワークは優れた一般化性能とスケーラビリティを示し、被験者および刺激の多様なfMRIデータセットを統合する際、一貫した性能向上が得られた。