[論文レビュー] Reconstructing Perceptive Images from Brain Activity by Shape-Semantic GAN

Tao Fang, Yu Qi+1 more|arXiv (Cornell University)|Jan 28, 2021

Cell Image Analysis Techniques参考文献 29被引用数 20

ひとこと要約

本稿では、形状特徴を下位視覚皮質（LVC）から、意味的特徴を上位視覚皮質（HVC）から別々に復号し、その後GANを用いて融合することで、高品質で自然な外観の画像を再構築する、新しいfMRIベースの画像再構築手法であるShape-Semantic GANを提案する。この手法は、階層的な脳の表象とデータ拡張を活用することで、先行手法よりも再構築類似度と視覚的品質が向上し、最先端の性能を達成する。

ABSTRACT

Reconstructing seeing images from fMRI recordings is an absorbing research area in neuroscience and provides a potential brain-reading technology. The challenge lies in that visual encoding in brain is highly complex and not fully revealed. Inspired by the theory that visual features are hierarchically represented in cortex, we propose to break the complex visual signals into multi-level components and decode each component separately. Specifically, we decode shape and semantic representations from the lower and higher visual cortex respectively, and merge the shape and semantic information to images by a generative adversarial network (Shape-Semantic GAN). This 'divide and conquer' strategy captures visual information more accurately. Experiments demonstrate that Shape-Semantic GAN improves the reconstruction similarity and image quality, and achieves the state-of-the-art image reconstruction performance.

研究の動機と目的

• 脳の複雑で階層的な視覚符号化のため、複雑な自然画像のfMRI信号からの再構築が依然として困難であるという課題に対処すること。
• 視覚処理における階層的組織を活用し、低レベル（形状）と高レベル（意味的）特徴の復号を分離することで、画像再構築品質を向上させること。
• 条件付き生成対抗ネットワーク（GAN）を用いて復号された形状特徴と意味的特徴を統合することで、再構築の正確性と視覚的忠実度を向上させること。
• fMRIデータセットが小さいという制限を軽減するため、データ拡張を適用してGANの学習と一般化能力を向上させること。

提案手法

• 下位視覚皮質（LVC）のfMRI信号から形状表現を復号するために線形モデルを用い、コアな物体の輪郭を捉える。
• 上位視覚皮質（HVC）のfMRI信号から高レベルの意味的特徴を復号するために深層ニューラルネットワーク（DNN）モデルを用い、画像のカテゴリカルな内容を表す。
• 復号された形状特徴と意味的特徴を条件として入力する条件付きGAN（Shape-Semantic GAN）を用い、現実的で視覚的に信憑性のある画像を生成することで、視覚的妥当性を向上させる。
• 限られたfMRIデータを拡張するためにトレーニングセットにデータ拡張を適用し、GANが多様な画像分布を学習する能力を高める。
• フレームワークは「分割して戦う」戦略を採用し、生成フェーズで統合する前に、形状と意味的コンポーネントを別々に復号する。
• 敵対的損失と知覚的損失を用いて、エンドツーエンドでモデルを訓練し、高忠実度の画像生成を保証する。

実験結果

リサーチクエスチョン

• RQ1 下位視覚皮質（LVC）と上位視覚皮質（HVC）から別々に復号される低レベルの形状特徴と高レベルの意味的特徴を分離することで、fMRIからの画像再構築が向上するか？
• RQ2 条件付きGANを用いて形状特徴と意味的特徴を統合することで、エンドツーエンドモデルに比べて、より高品質で現実的である画像再構築が達成できるか？
• RQ3 限られたトレーニングデータを持つfMRIから画像生成モデルの性能を向上させるために、データ拡張がどの程度効果を発揮するか？
• RQ4 形状復号がノイズが多いまたは曖昧な場合、意味的情報の組み込みが再構築の正確性にどのように影響するか？

主な発見

• Shape-Semantic GANは、意味的特徴を含まないベースライン手法（62.5%）よりも優れた65.3%の再構築類似度スコアを達成した。
• 意味的ガイド付きで再構築された画像は、形状がノイズが多いまたは曖昧な場合でも、色の正確な割り当てや物体の詳細の正しく再現される点で、視覚的品質が顕著に向上した。
• データ拡張を適用して訓練したモデルは65.3%の再構築類似度を達成したのに対し、拡張なしでは63.6%であったため、データ拡張の有効性が示された。
• アブレーションスタディにより、意味的特徴が正確な再構築に不可欠であることが確認された。特に、形状復号のみでは誤ったまたは一貫性のない画像詳細が生じる場合に顕著であった。
• 本フレームワークは、脳の視覚処理の階層的構造を効果的に活用したため、最先端の手法を上回る性能を達成した。
• LVCとHVCからの別々の復号は、結合された視覚皮質信号を用いた場合よりも優れた性能を示した。これは、低相関性の高い脳領域からの干渉が減少したためと推定される。