[論文レビュー] DreamCatcher: Revealing the Language of the Brain with fMRI using GPT Embedding

Subhrasankar Chatterjee, Debasis Samanta|arXiv (Cornell University)|Jun 16, 2023

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

本論文では、fMRI脳活動を1536次元のGPT埋め込み空間にマッピングするRepresentation Space Encoder (RSE) を用い、RevEmbedding Decoder を介して自然言語のキャプションを生成する、新規なfMRIキャプションフレームワークであるDreamCatcherを紹介する。この手法は、視覚的知覚の復元に向けた脳表現空間として事前学習された言語モデル埋め込みを用いることの妥当性を示し、意味的に整合的かつ文脈的に関連性のあるキャプションをfMRIデータから生成する上で有望な性能を達成している。

ABSTRACT

The human brain possesses remarkable abilities in visual processing, including image recognition and scene summarization. Efforts have been made to understand the cognitive capacities of the visual brain, but a comprehensive understanding of the underlying mechanisms still needs to be discovered. Advancements in brain decoding techniques have led to sophisticated approaches like fMRI-to-Image reconstruction, which has implications for cognitive neuroscience and medical imaging. However, challenges persist in fMRI-to-image reconstruction, such as incorporating global context and contextual information. In this article, we propose fMRI captioning, where captions are generated based on fMRI data to gain insight into the neural correlates of visual perception. This research presents DreamCatcher, a novel framework for fMRI captioning. DreamCatcher consists of the Representation Space Encoder (RSE) and the RevEmbedding Decoder, which transform fMRI vectors into a latent space and generate captions, respectively. We evaluated the framework through visualization, dataset training, and testing on subjects, demonstrating strong performance. fMRI-based captioning has diverse applications, including understanding neural mechanisms, Human-Computer Interaction, and enhancing learning and training processes.

研究の動機と目的

• fMRIから画像に再構成する手法の限界、特にグローバルな文脈や高レベルのシーン意味を捉えきれない点を是正すること。
• 画像再構成とは補完的であるfMRIキャプションを提案し、神経活動を自然言語によって解釈可能にする。
• 1536次元のGPT埋め込み空間がfMRIデータの意味的で意味のある潜在表現空間として使用可能であることを検証すること。
• fMRI反応から意味的に正確かつ文法的に整合性のあるキャプションを直接生成できるフレームワークの開発。

提案手法

• Representation Space Encoder (RSE) は、事前学習済みのGPT埋め込みと一致するように学習されたニューラルネットワークアーキテクチャを用いて、前処理済みのfMRIベクトルを1536次元の潜在空間にマッピングする。
• RevEmbedding Decoder は、1対多の逐次モデルであり、1536次元のGPT埋め込み表現から自然言語のキャプションを生成する。
• 生成プロセスを最適化するために、人間がアノテートしたキャプションに基づくコントラスト損失が使用され、出力の意味的整合性が保証される。
• モデルは、視覚刺激にさらされた8名の被験者からのfMRIデータを用いて、Natural Scenes Dataset (NSD) で訓練および評価される。
• 学習済み表現空間の可視化と神経パターンのクラスタリング評価のために、主成分分析（PCA）およびt-SNEが適用される。
• 評価指標には、キャプションの質と整合性を評価するためのMETEOR、文単位の類似度、およびPerplexityが含まれる。

Figure 1 : Illustrative example of current issues with fMRI-to-Image reconstruction. First reconstruction example successfully captures the low-level features however misses the high-level features. Second reconstruction example is adequate at a object-level replication, however misses the context i

実験結果

リサーチクエスチョン

• RQ1 fMRIデータは、意味的なキャプション生成を可能にするために、事前学習済み言語モデルの埋め込み空間に効果的にマッピング可能か？
• RQ2 提案されたDreamCatcherフレームワークは、人間がアノテートした基準キャプションと意味的・文法的に整合性のあるキャプションを生成できるか？
• RQ3 1536次元のGPT埋め込み空間は、fMRI信号から得られる視覚的刺激の顕著な特徴や文脈的属性を捉え、区別できるか？
• RQ4 被験者間で一般化性を示すか、神経活動から文脈的に正確な記述を生成できるか？
• RQ5 RSEが学習した表現空間は、類似した視覚的刺激のクラスタリングを示す意味的整合性を持つか？

主な発見

• DreamCatcherフレームワークは、全被験者に対して良好なMETEORスコアを達成し、生成キャプションと基準キャプションとの間の強い一致を示している。
• 文単位の類似度指標は、生成キャプションが人間がアノテートした記述と文法的・意味的に近接していることを示しており、整合性と関連性が確認された。
• PCAおよびt-SNEを用いた可視化により、GPT埋め込み空間内に明確なクラスタリングが観察された。これは、潜在的な視覚的特徴および文脈的関係が効果的に捉えられていることを示唆している。
• 実現可能性のテストにより、fMRIベースのキャプション生成が実現可能であることが確認され、生成キャプションが低レベル特徴を超えて顕著な物体や文脈的情報を捉えていることが示された。
• RevEmbedding Decoderは、1つのfMRI埋め込みから1対多のキャプションシーケンスを効果的に生成でき、モデルの豊かな記述的出力能力を示している。
• 生成キャプションに接続のないまたは整合性のない特徴が見られなかったことから、フレームワークは断片的再構成手法を上回る文脈的忠実性を示した。

Figure 2 : fMRI-Captioning: Subject is presented with an image stimulus and fMRI Neural Responses were captured. Given an fMRI response, the task is to predict captions based on the visual stimulus.