[論文レビュー] A General Framework for Revealing Human Mind with auto-encoding GANs

Pan Wang, Rui Zhou+7 more|arXiv (Cornell University)|Feb 10, 2021

Neural dynamics and brain function参考文献 14被引用数 4

ひとこと要約

本論文は、EEGおよびfMRI信号の潜在表現と画像特徴を一致させることで、脳活動を視覚的画像に変換するエンド・ツー・エンドの脳解読フレームワークを提案する。自動符号化GANを用いた手法により、高精細な心的画像再構成が達成され、fMRIベースの再構成がEEGよりも優れた信号分解能のおかげで優れた性能を示し、SSIMおよびMSEを用いた画像類似度比較でほぼ100％の正答率を達成した。

ABSTRACT

Addressing the question of visualising human mind could help us to find regions that are associated with observed cognition and responsible for expressing the elusive mental image, leading to a better understanding of cognitive function. The traditional approach treats brain decoding as a classification problem, reading the mind through statistical analysis of brain activity. However, human thought is rich and varied, that it is often influenced by more of a combination of object features than a specific type of category. For this reason, we propose an end-to-end brain decoding framework which translates brain activity into an image by latent space alignment. To find the correspondence from brain signal features to image features, we embedded them into two latent spaces with modality-specific encoders and then aligned the two spaces by minimising the distance between paired latent representations. The proposed framework was trained by simultaneous electroencephalogram and functional MRI data, which were recorded when the subjects were viewing or imagining a set of image stimuli. In this paper, we focused on implementing the fMRI experiment. Our experimental results demonstrated the feasibility of translating brain activity to an image. The reconstructed image matches image stimuli approximate in both shape and colour. Our framework provides a promising direction for building a direct visualisation to reveal human mind.

研究の動機と目的

• 従来の脳解読が分類タスクとして制限を受ける問題に対処し、脳活動からエンド・ツー・エンドの画像再構成を可能にする。
• 潜在空間の一致を通じて、脳信号特徴と画像特徴の直接的なマッピングを確立する。
• 統一された生成フレームワークを用いて、EEGおよびfMRI信号から心的画像を再構成する可能性を評価する。
• 画像品質および特徴の忠実度に注目し、EEGとfMRIが視覚的心的コンテンツを再構成する際の相対的性能を比較する。

提案手法

• フレームワークは、脳信号（EEG/fMRI）および画像を共有潜在空間に埋め込むためのモodal特化エンコーダーを用いる。
• ペアドされた表現間のL2距離を最小化することで、脳活動と画像の潜在表現を一致させる。
• 変分オートエンコーダーを事前学習し、画像特徴の学習と画像生成の基盤を形成する。
• 脳信号エンコーダーを訓練して、fMRIおよびEEG信号を画像特徴と同じ潜在空間にマップする。
• モデルは、画像視聴および心的イメージングタスク中に収集された同時EEG-fMRIデータで訓練される。
• 画像再構成は、脳活動の一致した潜在表現をデコードして視覚的画像に変換することで実行される。

実験結果

リサーチクエスチョン

• RQ1 エンド・ツー・エンドの深層生成モデリングを用いて、脳活動を直接視覚的画像に変換できるか？
• RQ2 脳信号と画像特徴の間の潜在空間一致は、心的画像の再構成にどの程度効果を発揮するか？
• RQ3 EEGとfMRIは、視覚的心的コンテンツを再構成する際に、相対的にどの程度の性能を示すか？
• RQ4 再構成画像は、元の刺激と比較して、形状および色情報の両方をどの程度保持しているか？

主な発見

• fMRIベースのフレームワークは、SSIM比較において約80％のペアワイズ画像類似度正答率を達成し、形状および色の高品質な再構成を示した。
• EEGベースのフレームワークは、類似度比較で約60％の正答率を達成し、判別可能ではあるがぼやけた画像再構成が行われた。
• alpha-GANベースライン（実画像を入力として使用）は、画像類似度比較でほぼ100％の正答率を達成し、モデルの能力を確認した。
• 画像品質が低いにもかかわらず、EEG信号はfMRIよりも高い分類正答率を示し、カテゴリレベルの解読にはEEGがより適している可能性を示唆した。
• 本フレームワークは、fMRIおよびEEG信号の両方から心的画像を成功裏に再構成し、人間の思考の直接可視化の可能性を示した。