[논문 리뷰] Improving visual image reconstruction from human brain activity using latent diffusion models via multiple decoded inputs

Yu Takagi, Shinji Nishimoto|arXiv (Cornell University)|2023. 06. 20.

Advanced Neuroimaging Techniques and Applications인용 수 7

한 줄 요약

이 논문은 뇌 활동에서 유도된 다중 복원 입력—텍스트 캡션, GAN 생성 이미지, 깊이 맵—을 안정된 확산 모델(Stable Diffusion)과 통합하여 인간 fMRI 데이터로부터 시각적 이미지 복원을 향상시킨다. 이 방법은 모든 참가자에서 복원 정확도를 크게 향상시키며, 복수의 복원 기술을 융합함으로써 평균 양방향 식별 정확도가 74.3%에서 86.4%로 상승한다.

ABSTRACT

The integration of deep learning and neuroscience has been advancing rapidly, which has led to improvements in the analysis of brain activity and the understanding of deep learning models from a neuroscientific perspective. The reconstruction of visual experience from human brain activity is an area that has particularly benefited: the use of deep learning models trained on large amounts of natural images has greatly improved its quality, and approaches that combine the diverse information contained in visual experiences have proliferated rapidly in recent years. In this technical paper, by taking advantage of the simple and generic framework that we proposed (Takagi and Nishimoto, CVPR 2023), we examine the extent to which various additional decoding techniques affect the performance of visual experience reconstruction. Specifically, we combined our earlier work with the following three techniques: using decoded text from brain activity, nonlinear optimization for structural image reconstruction, and using decoded depth information from brain activity. We confirmed that these techniques contributed to improving accuracy over the baseline. We also discuss what researchers should consider when performing visual reconstruction using deep generative models trained on large datasets. Please check our webpage at https://sites.google.com/view/stablediffusion-with-brain/. Code is also available at https://github.com/yu-takagi/StableDiffusionReconstruction.

연구 동기 및 목표

• 심층 생성 모델을 활용하여 인간 fMRI 데이터로부터 시각적 이미지 복원의 품질과 정확도를 향상시키는 것.
• 텍스트, 구조적 이미지, 깊이 정보 등 다수의 복원된 뇌 활동 신호를 복원 성능에 통합할 경우의 영향을 조사하는 것.
• 통합적이고 일반화 가능한 프레임워크 내에서 각 복원 기법의 기여도를 정량적으로 평가하는 기준을 제공하는 것.
• fMRI에서 이미지 복원 작업에 있어 훈련 데이터셋(예: LAION-5B)의 잠재적 데이터 泄漏 아티팩트를 평가하는 것.
• 대규모 생성 모델을 신경영상 응용 분야에서 활용하는 연구자들에게 방법론적 지침을 제공하는 것.

제안 방법

• fMRI에서의 CLIP 임베딩을 사용해 Stable Diffusion의 이미지 생성을 조건화하는 이전 프레임워크 [30]를 적응한다.
• BLIP 기반 모델을 훈련시켜 fMRI 활동에서 자연어 캡션을 예측하고, 이를 Stable Diffusion의 텍스트 프롬프트로 사용한다.
• fMRI에서 유도된 구조적 이미지 사전을 생성하기 위해 GAN 기반 이미지 복원을 적용하고, 이를 확산 모델의 잠재 공간과 융합한다.
• 특화된 회귀 모델을 사용해 fMRI에서 깊이 맵을 복원함으로써 복원 이미지의 3차원 구조 일관성을 향상시킨다.
• 세 가지 복원된 입력(텍스트, GAN 이미지, 깊이)을 잠재 확산 과정의 다중 모odal 조건 신호로 융합한다.
• Inception-v3, CLIP, AlexNet 특징을 사용한 양방향 식별 정확도를 평가 지표로 삼아, 다양한 메트릭과 참가자 간의 복원 정밀도를 평가한다.

Figure 1 : Schematic of the approach in this paper, including ( a ) our earlier work [ 30 ] and ( b – d ) with three additional techniques.

실험 결과

연구 질문

• RQ1 뇌 활동에서 복원된 텍스트를 통합할 경우, 기준 CLIP 임베딩 조건화 대비 시각적 이미지 복원 품질 향상 정도는 어느 정도인가?
• RQ2 fMRI 활동에서 유도된 GAN 생성 이미지 사전을 추가할 경우, 복원 이미지의 현실감과 구조적 정밀도는 어떻게 영향을 받는가?
• RQ3 뇌 활동에서 복원된 깊이 정보는 복원 이미지의 인지적 품질과 정확도에 어떤 기여를 하는가?
• RQ4 다양한 참가자와 평가 메트릭 간에 복수의 복원 기술 융합 효과는 어떻게 비교되는가?
• RQ5 훈련 데이터셋(예: LAION-5B)의 잠재적 데이터 泄漏가 fMRI에서 이미지 복원 성능 평가에 어느 정도 편향을 초래하는가?

주요 결과

• BLIP를 통한 뇌 활동에서 복원된 텍스트 통합으로, 참가자 전반에서 평균 양방향 식별 정확도가 12.6%포인트 향상되어 74.3%에서 88.5%로 상승하였다.
• GAN 생성 이미지 사전 추가로 정확도가 더욱 향상되었으며, 최고 성능 기법(+T+G)은 Inception-v3 특징을 사용해 평균 86.4%의 정확도를 달성하였다.
• fMRI 활동에서 유도된 깊이 정보 통합은 구조 일관성 향상에 있어 소량이지만 일관된 개선 효과를 보였으며, 평균 정확도는 84.3%로 상승하였다.
• 잠재적 데이터 泄漏에 대비해 강건한 성능 유지를 보였으며, LAION-5B 이미지를 제외한 결과도 정확도가 안정적으로 유지되어 이전 결과 74.3%와 신규 결과 74.5%로 동일하였다.
• 정확도 향상 정도는 참가자와 특징 추출기 간에 다양하게 나타나, 각 복원 기법의 효과성이 일관되지 않으며 개인의 신경 표현 패tern에 따라 달라짐을 시사하였다.
• 세 가지 복원 기법을 모두 융합한 기법(+T+G+D)이 Inception-v3를 사용해 평균 최고 정확도 84.3%를 기록하며, 다중 모달 뇌 신호 융합의 상호보완적 성과를 입증하였다.

Figure 2 : Examples of the presented (red box) and reconstructed images using various methods. The decoded text, image produced by GAN, and decoded depth are shown below the reconstructed image.