[論文レビュー] Reconstructing Perceived Images from Brain Activity by Visually-guided Cognitive Representation and Adversarial Learning

Ziqi Ren, Jie Li+5 more|arXiv (Cornell University)|Jun 27, 2019

Cell Image Analysis Techniques参考文献 38被引用数 5

ひとこと要約

本論文では、敵対的学習と知識蒸留を用いて視覚的にガイドされた認知的潜在表現を学習することで、fMRI信号から視覚刺激を再構築する新規フレームワーク、D-Vae/GANを提案する。二重変分オートエンコーダーとGANベースのモダリティ間知識蒸留戦略、および三段階のトレーニングアプローチを組み合わせることで、公開fMRIデータセット上での画像再構築品質が最先端水準に達し、ピクセル単位の評価（Pix-Com）で前人を11.7%、Hum-Comで9.7%上回る。

ABSTRACT

Reconstructing visual stimulus (image) only from human brain activity measured with functional Magnetic Resonance Imaging (fMRI) is a significant and meaningful task in Human-AI collaboration. However, the inconsistent distribution and representation between fMRI signals and visual images cause the heterogeneity gap. Moreover, the fMRI data is often extremely high-dimensional and contains a lot of visually-irrelevant information. Existing methods generally suffer from these issues so that a satisfactory reconstruction is still challenging. In this paper, we show that it is possible to overcome these challenges by learning visually-guided cognitive latent representations from the fMRI signals, and inversely decoding them to the image stimuli. The resulting framework is called Dual-Variational Autoencoder/ Generative Adversarial Network (D-VAE/GAN), which combines the advantages of adversarial representation learning with knowledge distillation. In addition, we introduce a novel three-stage learning approach which enables the (cognitive) encoder to gradually distill useful knowledge from the paired (visual) encoder during the learning process. Extensive experimental results on both artificial and natural images have demonstrated that our method could achieve surprisingly good results and outperform all other alternatives.

研究の動機と目的

• ノイズが多く、高次元なfMRI信号からの高品質な視覚刺激再構築の課題に取り組む。この課題は、モダリティギャップと異質性に起因する。
• 表現学習が不十分で視覚的ガイドが欠如しているため、ぼやけた低精細な再構築を生じる既存手法の限界を克服する。
• 追加のアノテーションを必要とせず、ペアドされた視覚データからの知識を活用することで、fMRIデータから分離可能で視覚的に関連する認知的表現を学ぶフレームワークを開発する。
• 敵対的訓練と段階的な特徴一致戦略を統合することで、認知的特徴と視覚的特徴を段階的に整合させることで再構築の忠実度を向上させる。
• 複数の公開fMRIデータセット上で本手法の有効性を検証し、異なる脳領域が視覚刺激の構造的および色の情報をどのようにエンコードしているかを分析する。

提案手法

• フレームワークは、fMRI信号と視覚的刺激の両方から低次元で分離可能な潜在表現を学習するための二重VAEベースのエンコーディングネットワークを採用する。
• 認知的潜在特徴と視覚的特徴を、認知的エンコーダーが視覚的エンコーダーを模倣するように強制することで、モダリティ間の知識蒸留を実現するGANベースの機構を導入する。
• 敵対的デコードネットワークは、敵対的訓練を用いてリアルさと詳細性を向上させることで、学習された認知的潜在特徴から高精細な画像を再構築する。
• 視覚的知識を認知的エンコーダーに段階的に蒸留する、新しい三段階トレーニング戦略を採用し、安定性と性能を向上させる。
• 表現学習と画像再構築を同時に最適化するために、VAE損失、敵対的損失、知識蒸留損失の組み合わせを用いる。
• 本フレームワークは、追加のアノテーションを除きペアドされたfMRIと画像データ上でエンドツーエンドにトレーニングされる。

実験結果

リサーチクエスチョン

• RQ1 視覚的にガイドされた認知的表現を学習することで、深層学習フレームワークがfMRI信号から高品質な視覚刺激を効果的に再構築できるか？
• RQ2 fMRIと視覚的特徴の間のモダリティ間知識蒸留は、再構築忠実度を向上させ、モダリティギャップを低減するか？
• RQ3 三段階トレーニング戦略は、再構築モデルの安定性と性能向上にどのように寄与するか？
• RQ4 どの脳領域（ROIs）が視覚刺激の構造的要因と色の情報を最も多くエンコードしており、それらはどの程度正確に再構築されるか？
• RQ5 提案されたD-Vae/GANフレームワークは、定量的指標と知覚的品質の両面で、既存の最先端手法を上回るか？

主な発見

• 提案されたD-Vae/GANフレームワークは、Pix-Comスコア87.8%、Hum-Comスコア97.3%を達成し、前人をPix-Comで9.7%、Hum-Comで1.6%上回る。
• 本手法は[25]をPix-Comで11.7%、Hum-Comで0.3%上回り、再構築品質の顕著な向上を示している。
• アブレーションスタディの結果、二重VAEベースのエンコーダーを削除するか、標準的なCNNに置き換えると性能が著しく低下し、その重要性が確認された。
• 知識蒸留による視覚的特徴ガイドは、再構築性能を78.9%（Pix-Com）から87.8%に向上させ、追加のアノテーションなしに視覚的ガイドの有効性を実証した。
• 構造的詳細は初期視覚領域（V1–V3）から、色情報は中程度の領域（V4）および上位視覚皮質（LOC, FFA, PPA）からより正確に再構築された。
• 全視覚皮質（VC）のfMRI信号は、構造的および色的特徴を両方保持する最も包括的な再構築を可能にし、本手法の強靭性と解釈可能性を裏付けた。