[論文レビュー] Semantic Brain Decoding: from fMRI to conceptually similar image reconstruction of visual stimuli

Matteo Ferrante, Tommaso Boccato+1 more|arXiv (Cornell University)|Dec 13, 2022

Cell Image Analysis Techniques被引用数 7

ひとこと要約

本論文では、fMRIデータから脳活動をプレトレインドCNN（ResNet50）の潜在空間にマッピングし、予測された意味的クラスを条件とした潜在拡散モデルを用いて、概念的に類似した視覚刺激を再構築する意味的脳解読パイプラインを提案する。本手法は、最先端の性能を達成し、Wu-Palmer類似度が0.57、人間評価の正確度が81%を記録した。

ABSTRACT

Brain decoding is a field of computational neuroscience that uses measurable brain activity to infer mental states or internal representations of perceptual inputs. Therefore, we propose a novel approach to brain decoding that also relies on semantic and contextual similarity. We employ an fMRI dataset of natural image vision and create a deep learning decoding pipeline inspired by the existence of both bottom-up and top-down processes in human vision. We train a linear brain-to-feature model to map fMRI activity features to visual stimuli features, assuming that the brain projects visual information onto a space that is homeomorphic to the latent space represented by the last convolutional layer of a pretrained convolutional neural network, which typically collects a variety of semantic features that summarize and highlight similarities and differences between concepts. These features are then categorized in the latent space using a nearest-neighbor strategy, and the results are used to condition a generative latent diffusion model to create novel images. From fMRI data only, we produce reconstructions of visual stimuli that match the original content very well on a semantic level, surpassing the state of the art in previous literature. We evaluate our work and obtain good results using a quantitative semantic metric (the Wu-Palmer similarity metric over the WordNet lexicon, which had an average value of 0.57) and perform a human evaluation experiment that resulted in correct evaluation, according to the multiplicity of human criteria in evaluating image similarity, in over 80% of the test set.

研究の動機と目的

• ピクセルレベルの再構築を越えて、意味的・文脈的類似性を組み込むことで、fMRIからの視覚的刺激再構築を向上させること。
• fMRI活動が、人間の視覚的および概念的処理を反映するプレトレインドCNNの意味的潜在空間に線形的にマッピング可能かどうかを調査すること。
• 正確な画像の再構築ではなく、元の刺激と意味的に類似した新しい画像を生成すること。
• 定量的な意味的指標と人間の知覚評価研究の両方を用いて、再構築品質を評価すること。

提案手法

• fMRI活動パターンを、プレトレインドResNet50ネットワークの最終畳み込み層特徴量にマッピングする線形脳-特徴モデルを訓練する。
• CNNの潜在空間におけるk近傍法（kNN）分類を用いて、fMRIパターンに対応する意味的カテゴリを予測する。
• 予測された意味的クラスを条件として用いることで、元の刺激と意味的に類似した新しい画像を合成する潜在拡散生成モデルを適用する。
• 脳の視覚的表現が深層CNNの意味的特徴空間とホメオモーフィックであるという仮定を活用し、意味的一般化を可能にする。
• WordNetを用いてWu-Palmer類似度指標を計算し、真の概念と予測された概念の間の意味的整合性を定量的に評価する。
• 二重盲検人間評価研究を実施し、生成画像の知覚的類似性と品質を評価する。

実験結果

リサーチクエスチョン

• RQ1 fMRI活動パターンは、意味的潜在空間に効果的にマッピング可能であり、概念的に正確な画像生成を可能にするか？
• RQ2 人間観察者が判断する限り、生成画像は元の視覚的刺激の意味的内容とどの程度一致するか？
• RQ3 意味的類似性と知覚的品質の観点から、本手法は先行する最先端手法と比較してどのように優れているか？
• RQ4 fMRIからCNN特徴量への線形マッピングは、視覚的知覚の階層的かつ意味的組織を捉えられるか？
• RQ5 上位からの意味的事前知識（トップダウンの意味的プライア）は、ピクセルレベルの正確性を超えて再構築の正確性を向上させる役割を果たすか？

主な発見

• 本手法は、WordNet語彙の平均Wu-Palmer類似度スコアが0.57 ± 0.15を記録し、予測された概念と真の概念との間で強い意味的整合性を示した。
• 二重盲検人間評価において、テストセットの81%の再構築が、元の刺激と意味的に類似していると正しく識別された。
• 再構築が正確なピクセル再現ではないにもかかわらず、本手法は、意味的および概念的類似性において、以前の最先端手法を上回った。
• CNNの潜在空間におけるkNN戦略の使用により、fMRIデータからの効果的な意味的分類が可能となり、脳-CNN表現のホメオモーフィズム仮説を支持した。
• 予測された意味的クラスを条件とした潜在拡散モデルは、元の刺激の意味的内容と一致する、新たな視覚的に妥当な画像を効果的に生成した。
• 結果から、fMRIデータは解読だけでなく、意味的に意味のある視覚的コンテンツの生成にも利用可能であることが示され、脳-コンピュータインターフェースおよび認知神経科学の応用分野を前進させる可能性を示した。