[論文レビュー] Improving visual image reconstruction from human brain activity using latent diffusion models via multiple decoded inputs

Yu Takagi, Shinji Nishimoto|arXiv (Cornell University)|Jun 20, 2023

Advanced Neuroimaging Techniques and Applications被引用数 7

ひとこと要約

本論文は、人間のfMRIデータからの視覚的画像再構成を向上させるために、潜在拡散モデル（Stable Diffusion）に、脳活動から抽出された複数の入力（テキストキャプション、GANで生成された画像、深度マップ）を統合する手法を導入している。この手法により、被験者間で再構成精度が顕著に向上し、2方向識別精度の平均値が、3つの復元手法を統合した際、74.3%から86.4%に上昇した。

ABSTRACT

The integration of deep learning and neuroscience has been advancing rapidly, which has led to improvements in the analysis of brain activity and the understanding of deep learning models from a neuroscientific perspective. The reconstruction of visual experience from human brain activity is an area that has particularly benefited: the use of deep learning models trained on large amounts of natural images has greatly improved its quality, and approaches that combine the diverse information contained in visual experiences have proliferated rapidly in recent years. In this technical paper, by taking advantage of the simple and generic framework that we proposed (Takagi and Nishimoto, CVPR 2023), we examine the extent to which various additional decoding techniques affect the performance of visual experience reconstruction. Specifically, we combined our earlier work with the following three techniques: using decoded text from brain activity, nonlinear optimization for structural image reconstruction, and using decoded depth information from brain activity. We confirmed that these techniques contributed to improving accuracy over the baseline. We also discuss what researchers should consider when performing visual reconstruction using deep generative models trained on large datasets. Please check our webpage at https://sites.google.com/view/stablediffusion-with-brain/. Code is also available at https://github.com/yu-takagi/StableDiffusionReconstruction.

研究の動機と目的

• 深層生成モデルを用いて、人間のfMRIデータからの視覚的画像再構成の品質と正確性を向上させること。
• テキスト、構造的画像、深度の3つの脳活動信号を復元する手法を統合することで、再構成性能に与える影響を調査すること。
• 統一的で一般化可能なフレームワーク内での各復元手法の寄与を定量的にベンチマークすること。
• fMRIから画像への再構成タスクにおいて、トレーニングデータセット（例：LAION-5B）からのデータ漏洩アーチファクトの可能性を評価すること。
• 大規模な生成モデルを神経画像解析応用に活用する研究者に対するメソドロジカルなガイダンスを提供すること。

提案手法

• fMRIからのCLIP埋め込みを用いてStable Diffusionの画像生成を条件づける、先行研究[30]のフレームワークを改変した。
• fMRI活動から自然言語キャプションを予測するBLIPベースのモデルを訓練し、その出力をStable Diffusionのテキストプロンプトとして使用するテキスト復元を導入した。
• fMRIから構造的画像事前分布を生成するGANベースの画像再構成を適用し、その結果を拡散モデルの潜在空間に統合した。
• 専用の回帰モデルを用いてfMRIから深度マップを復元し、再構成画像の3次元的構造的一致性を向上させた。
• テキスト、GAN画像、深度の3つの復元入力を、潜在拡散プロセスにおけるマルチモーダルな条件付け信号として統合した。
• Inception-v3、CLIP、AlexNetの特徴量を用いて、複数のメトリクスおよび被験者間で再構成忠実度を評価する二方向識別精度を採用した。

Figure 1 : Schematic of the approach in this paper, including ( a ) our earlier work [ 30 ] and ( b – d ) with three additional techniques.

実験結果

リサーチクエスチョン

• RQ1 脳活動からの復元テキストを統合することで、CLIP埋め込みによる条件づけをベースラインとした場合に比べ、視覚的画像再構成の品質はどの程度向上するか？
• RQ2 fMRI活動から生成されたGANベースの画像事前分布を追加することで、再構成画像の現実性および構造的一致性はどのように変化するか？
• RQ3 脳活動からの復元深度情報は、再構成画像の知覚的品質および正確性にどの程度寄与するか？
• RQ4 複数の復元手法の統合効果は、異なる被験者および評価メトリクスにおいてどのように比較されるか？
• RQ5 トレーニングデータセット（例：LAION-5B）からのデータ漏洩が、fMRIから画像への再構成性能の評価にどの程度バイアスをもたらす可能性があるか？

主な発見

• 脳活動からの復元テキスト（BLIPを用いて）を統合することで、被験者全体で平均して12.6パーセンテージポイントの向上が見られ、二方向識別精度は74.3%から88.5%に上昇した。
• GANで生成された画像事前分布を追加することで、さらに精度が向上し、最も優れた手法（+T+G）ではInception-v3特徴量を用いて平均86.4%の精度を達成した。
• fMRIからの深度情報の統合により、構造的一致性の向上が明確に見られ、精度は平均で84.3%に上昇した。
• 本手法は潜在的なデータ漏洩に対して頑健であった。LAION-5Bからの画像を除外しても定量的結果に変化はなく、Inception-v3特徴量を用いた識別精度は74.3%（元の値）と74.5%（新規）で安定していた。
• 被験者や特徴抽出器ごとに改善度にばらつきが見られ、各復元手法の有効性が一様ではなく、個々の神経表現パターンに依存することが示された。
• 3つの復元手法を統合した（+T+G+D）場合、Inception-v3を用いて平均84.3%の最高精度を達成し、マルチモーダル脳信号統合による相乗効果が実証された。

Figure 2 : Examples of the presented (red box) and reconstructed images using various methods. The decoded text, image produced by GAN, and decoded depth are shown below the reconstructed image.