[論文レビュー] DREAM: Visual Decoding from Reversing Human Visual System

Weihao Xia, Raoul de Charette+2 more|arXiv (Cornell University)|Oct 3, 2023

Visual Attention and Saliency Detection参考文献 52被引用数 4

ひとこと要約

DREAMは、人間の視覚系の階層的で並列的な経路を逆方向にたどることで、脳活動から意味的特徴、色、奥行きを復元する新しいfMRIから画像への再構成手法を提案する。Reverse-VACによる意味的特徴の復元とReverse-PKMによる色・奥行きの同時予測を導入することで、外観、構造、意味的整合性の面で最先端の手法を上回り、NSDデータセットにおいて優れた再構成忠実度を達成した。

ABSTRACT

In this work we present DREAM, an fMRI-to-image method for reconstructing viewed images from brain activities, grounded on fundamental knowledge of the human visual system. We craft reverse pathways that emulate the hierarchical and parallel nature of how humans perceive the visual world. These tailored pathways are specialized to decipher semantics, color, and depth cues from fMRI data, mirroring the forward pathways from visual stimuli to fMRI recordings. To do so, two components mimic the inverse processes within the human visual system: the Reverse Visual Association Cortex (R-VAC) which reverses pathways of this brain region, extracting semantics from fMRI data; the Reverse Parallel PKM (R-PKM) component simultaneously predicting color and depth from fMRI signals. The experiments indicate that our method outperforms the current state-of-the-art models in terms of the consistency of appearance, structure, and semantics. Code will be made publicly available to facilitate further research in this field.

研究の動機と目的

• CLIPのような視覚言語モデルに依存するため、外観や構造的一致性に欠ける現行のfMRIから画像への復元手法の限界を是正すること。
• 特に色、奥行き、意味的特徴の復元に向け、人間の視覚系（HVS）の生物学的に妥当なメカニズムを視覚的復元に統合すること。
• fMRIから画像への変換過程で情報損失を低減するため、前向きなHVS経路を逆方向に模倣し、専用のニューラルコンポーネントを用いること。
• 間接的監視に依存するのではなく、fMRI信号から直接得られる色と奥行きの手がかりを統合することで、画像再構成品質を向上させること。
• 生物学的に根拠のある逆方向経路が、既存の拡散モデルに基づく手法よりも一貫性があり、知覚的に正確な再構成を実現できることを示すこと。

提案手法

• DREAMは、視覚刺激からfMRIへの前向きなHVSプロセスの逆をとる、人間の視覚系にインspiredされた逆方向経路を採用する。
• 逆視覚連合皮質（R-VAC）コンポーネントは、fMRI信号から高レベルの意味的特徴を復元し、画像生成をガイドするCLIP風の埋め込みを生成する。
• 逆並列PKM（R-PKM）コンポーネントは、fMRIデータから同時に色（空間的パレットとして）と奥行き（奥行きマップとして）を予測し、構造的および色彩的ガイドラインを提供する。
• 復元された手がかり（意味的特徴、色、奥行き）は、T2I-Adapterを用いたStable Diffusionに供給され、色アダプタと奥行きアダプタを介して空間的制御が行われる。
• 本手法は、個々の被験者に特化した形でNSDデータセット上で訓練され、被験者間のfMRIパターンの差異を反映させるために、被験者ごとに個別に再訓練される。
• 初期の推定画像に対して×64のダウンサンプリング戦略を適用し、低精度な初期再構成からのノイズを低減しつつ、頑健な色パレットを抽出する。

実験結果

リサーチクエスチョン

• RQ1 人間の視覚系の階層的で並列的な経路を逆方向にモデル化することは、fMRIから画像への再構成品質を向上させ得るか？
• RQ2 fMRI信号から色と奥行きの手がかりを明示的に復元することは、CLIPに整合した意味的特徴に依存するのみの手法よりも、より一貫性のある画像再構成を実現するか？
• RQ3 生物学的にインスパイアされた逆方向経路は、視覚言語の整合性に依存する既存の拡散ベース手法を上回る性能を示すか？
• RQ4 被験者特有のfMRIパターンは再構成性能にどの程度影響を及ぼすか？また、一貫した誤りはデータセットのバイアスを明らかにするか？
• RQ5 fMRIから予測された色と奥行きは真値とどの程度一致するか？また、画像生成のための有効なガイドラインとして機能するか？

主な発見

• DREAMはNSDデータセットで最先端の性能を達成し、被験者特化型の再構成において外観、構造、意味的整合性の面で高い一貫性を示した。
• 4名の被験者（sub01–sub07）における定量的指標では、PixCorrが0.265～0.288、SSIMが92.7%～97.5%、CLIPスコアが93.7%～95.2%の範囲に収まった。
• 被験者全員にわたり安定した性能を示し、指標の分散が小さく、被験者間のfMRI変動に対しても頑健であることが示された。
• R-PKMコンポーネントから得られる色と奥行きの予測は粗いが、空間的ガイドラインとして意味のある役割を果たし、解像度の制限にもかかわらず再構成忠実度を向上させた。
• 共通する再構成誤り（例：花が描かれた花瓶の画像を絵画と誤認、傾いた食事の皿を上から見た図と誤認）は、データセットバイアスが被験者間で一貫して存在することを示唆している。
• 視覚的結果から、色と奥行きの手がかりを統合することで、[31]のような先行研究で見られたような外観の一貫性の欠如（意味的特徴は保持されていたが色が歪められていた）が顕著に改善された。