[論文レビュー] NeuroGen: activation optimized image synthesis for discovery neuroscience

Zijin Gu, Keith Jamison+7 more|ArXiv.org|May 15, 2021

Cell Image Analysis Techniques被引用数 4

ひとこと要約

NeuroGenは、fMRIで訓練されたニューラルエンコーディングモデルと条件付きディープジェネレーティブネットワーク（BigGAN-deep）を組み合わせた画期的なフレームワークを提案する。このフレームワークにより、特定のマクロスケール脳活動パターンを引き起こすと予測される高精細な画像を合成可能となる。ターゲット視覚領域における活性化を最大化または最小化するためにノイズベクトルとクラスコードを最適化することで、NeuroGenは、従来の自然画像よりも優れた性能を示し、人間の視覚における刺激-反応関係を正確かつデータ効率的に同定可能となる。

ABSTRACT

Functional MRI (fMRI) is a powerful technique that has allowed us to characterize visual cortex responses to stimuli, yet such experiments are by nature constructed based on a priori hypotheses, limited to the set of images presented to the individual while they are in the scanner, are subject to noise in the observed brain responses, and may vary widely across individuals. In this work, we propose a novel computational strategy, which we call NeuroGen, to overcome these limitations and develop a powerful tool for human vision neuroscience discovery. NeuroGen combines an fMRI-trained neural encoding model of human vision with a deep generative network to synthesize images predicted to achieve a target pattern of macro-scale brain activation. We demonstrate that the reduction of noise that the encoding model provides, coupled with the generative network's ability to produce images of high fidelity, results in a robust discovery architecture for visual neuroscience. By using only a small number of synthetic images created by NeuroGen, we demonstrate that we can detect and amplify differences in regional and individual human brain response patterns to visual stimuli. We then verify that these discoveries are reflected in the several thousand observed image responses measured with fMRI. We further demonstrate that NeuroGen can create synthetic images predicted to achieve regional response patterns not achievable by the best-matching natural images. The NeuroGen framework extends the utility of brain encoding models and opens up a new avenue for exploring, and possibly precisely controlling, the human visual system.

研究の動機と目的

• 従来のfMRI実験には、事前仮説に依存する、制限された刺激セットに縛られる、ノイズの多いという限界があるため、これを克服すること。
• 特定の領域的または個人的な脳活性化パターンを引き起こすように適合された合成画像を生成する計算フレームワークを開発すること。
• わずかな数の最適化された合成画像のみを用いて、個人や脳領域間の視覚的反応差を同定できること。
• NeuroGenが、ImageNetデータセット内での最も類似した自然画像では達成できない脳活性化パターンを実現する画像を生成できることを示すこと。
• NeuroGenの合成画像による発見が、数千件の観測fMRI反応に反映されていることを検証すること。

提案手法

• 8名の被験者からのfMRIデータを用いて、画像特徴量から領域的脳活性化を予測するリッジ回帰ベースのニューラルエンコーディングモデルを訓練した。
• 条件付きクラスベクトルとノイズベクトルを備えた事前学習済みのBigGAN-deepジェネレータを用い、多様性があり高精細な合成画像を生成した。
• 二段階最適化を実施：最初にランダムなノイズサンプリングと活性化予測を用いて10個の最適な画像クラスを同定し、次に各クラスごとにノイズベクトルを最適化してターゲット領域の活性化を最大化した。
• 最適化を正則化最大化問題として定式化した：$\hat{z}_{ij}(c_i) = \arg\max_{z_{ij}} (\hat{r}_t(G(c_i,z_{ij})) - \lambda \|z_{ij}\|)$ で $\lambda = 0.001$。
• 複数領域の目的の場合は、ペアド領域における活性化の同時最大化または最小化を目的関数に組み込み、等重みを適用した。
• 後続分析のため、10個の最適クラスごとに最もパフォーマンスの良い画像を1枚ずつ選択した。

実験結果

リサーチクエスチョン

• RQ1 NeuroGenで生成された合成画像は、自然画像よりも、領域的および個人的脳反応パターンの差をより効果的に検出・強調できるか？
• RQ2 NeuroGenは、ImageNetデータセット内での最も類似した自然画像では達成できない脳活性化パターンを引き起こす画像を生成できるか？
• RQ3 NeuroGenの合成画像による発見は、被験者や脳領域を越えて一般化される程度はどの程度か？観測fMRI反応によって検証された。
• RQ4 fMRIで訓練されたエンコーディングモデルとディープジェネレーティブネットワークの統合は、視覚神経科学の発見におけるロバストネスと正確性をどのように向上させるか？
• RQ5 NeuroGenは、標的画像合成を用いて、人間の視覚皮質の機能的組織を正確に制御またはプローブするのに使用できるか？

主な発見

• NeuroGenは、10個の最適クラスにまたがる100枚の画像を合成し、ターゲット視覚領域における予測活性化を最大化した。その中から上位10枚の画像を分析に使用した。
• わずか10枚の合成画像のみを用いることで、領域的および個人的脳反応パターンの差を検出・強調可能であり、自然画像セットを上回る性能を示した。
• NeuroGenが生成した画像は、ImageNet内での最も類似した自然画像では達成できない視覚領域における活性化パターンを予測した。
• NeuroGenの合成画像からの予測活性化パターンは、数千件の観測fMRI反応と照合され、発見の信頼性と一般化可能性を確認した。
• エンコーディングモデルが測定変動をなめらかにすることで、ノイズに強く、最小限のデータで正確な発見が可能であるというフレームワークのロバストネスを示した。
• BigGAN-deepのトランキュレーションパラメータは0.4に設定され、画像の精細さと多様性のバランスが取られ、神経科学実験に適した高品質な合成刺激が得られた。