[논문 리뷰] NeuroGen: activation optimized image synthesis for discovery neuroscience

Zijin Gu, Keith Jamison외 7명|ArXiv.org|2021. 05. 15.

Cell Image Analysis Techniques인용 수 4

한 줄 요약

NeuroGen은 fMRI로 학습된 신경 인코딩 모델과 조건부 딥 생성 네트워크(BigGAN-deep)를 결합한 새로운 프레임워크를 제안한다. 이는 특정 매크로 스케일 뇌 활성 패턴을 유도할 것으로 예측되는 고해상도 이미지를 합성한다. 타겟 시각 영역의 활성도를 최대화하거나 최소화하도록 노이즈 벡터와 클래스 코드를 최적화하여, NeuroGen은 인간 시각에서 자극-반응 관계를 정밀하고 데이터 효율적으로 탐색할 수 있게 한다. 자연 이미지보다 개인 및 영역별 뇌 반응 차이를 더 잘 탐지할 수 있다.

ABSTRACT

Functional MRI (fMRI) is a powerful technique that has allowed us to characterize visual cortex responses to stimuli, yet such experiments are by nature constructed based on a priori hypotheses, limited to the set of images presented to the individual while they are in the scanner, are subject to noise in the observed brain responses, and may vary widely across individuals. In this work, we propose a novel computational strategy, which we call NeuroGen, to overcome these limitations and develop a powerful tool for human vision neuroscience discovery. NeuroGen combines an fMRI-trained neural encoding model of human vision with a deep generative network to synthesize images predicted to achieve a target pattern of macro-scale brain activation. We demonstrate that the reduction of noise that the encoding model provides, coupled with the generative network's ability to produce images of high fidelity, results in a robust discovery architecture for visual neuroscience. By using only a small number of synthetic images created by NeuroGen, we demonstrate that we can detect and amplify differences in regional and individual human brain response patterns to visual stimuli. We then verify that these discoveries are reflected in the several thousand observed image responses measured with fMRI. We further demonstrate that NeuroGen can create synthetic images predicted to achieve regional response patterns not achievable by the best-matching natural images. The NeuroGen framework extends the utility of brain encoding models and opens up a new avenue for exploring, and possibly precisely controlling, the human visual system.

연구 동기 및 목표

• 기존 fMRI 실험은 사전 가설에 의존하고, 제한된 자극 집합에 얽매이며 노이즈가 많다는 한계를 극복하기 위해.
• 특정 영역 또는 개인의 뇌 활성 패턴을 유도하도록 맞춤형으로 설계된 합성 이미지를 생성하는 계산 프레임워크를 개발하기 위해.
• 소수의 최적화된 합성 이미지만으로 개인 간 및 뇌 영역 간 시각 반응 차이를 탐지할 수 있도록 하기 위해.
• NeuroGen이 최고의 매칭 자연 이미지로는 도달할 수 없는 활성 패턴을 구현할 수 있는 이미지를 생성할 수 있음을 입증하기 위해.
• NeuroGen의 합성 이미지 탐지 결과가 수천 개의 관측 fMRI 반응에서 반영됨을 검증하기 위해.

제안 방법

• 8명의 개인 fMRI 데이터를 기반으로 릿지 회귀 기반 신경 인코딩 모델을 학습하여 이미지 특징에서 지역적 뇌 활성도를 예측한다.
• 조건부 클래스 벡터와 노이즈 벡터를 사용해 다양한 고해상도 합성 이미지를 생성할 수 있는 사전 학습된 BigGAN-deep 생성자 사용.
• 이중 단계 최적화 수행: 첫 번째 단계에서는 무작위 노이즈 샘플링과 활성도 예측을 통해 10개 최적의 이미지 클래스 식별; 두 번째 단계에서는 각 클래스별로 타겟 영역 활성도를 최대화하도록 노이즈 벡터 최적화.
• 최적화를 정규화된 최대화 문제로 공식화: $\hat{z}_{ij}(c_i) = \arg\max_{z_{ij}} (\hat{r}_t(G(c_i,z_{ij})) - \lambda \|z_{ij}\|)$, $\lambda = 0.001$.
• 다중 영역 목표의 경우, 손실 함수를 확장하여 쌍으로 지정된 영역에서 동시에 활성도를 최대화하거나 최소화하도록 하며, 동일한 가중치를 적용한다.
• 후속 분석을 위해 10개 최적 클래스 각각에서 가장 성능이 뛰어난 이미지를 선택하여 상위 10개의 합성 이미지를 선정.

실험 결과

연구 질문

• RQ1 NeuroGen을 통해 생성된 합성 이미지는 자연 이미지보다 지역적 및 개인별 인간 뇌 반응 패턴의 차이를 더 효과적으로 탐지하고 증폭시킬 수 있는가?
• RQ2 NeuroGen은 ImageNet 데이터셋에서 최고의 매칭 자연 이미지로는 도달할 수 없는 뇌 활성 패턴을 유도할 수 있는 이미지를 생성할 수 있는가?
• RQ3 NeuroGen의 합성 이미지 탐지 결과는 관측된 수천 개의 fMRI 반응을 통해 검증되었을 때, 개인과 뇌 영역 간으로 얼마나 일반화되는가?
• RQ4 fMRI로 학습된 인코딩 모델과 딥 생성 네트워크의 통합은 어떻게 시각 신경과학 탐색의 정밀성과 강건성을 향상시키는가?
• RQ5 NeuroGen을 사용해 표적 이미지 합성으로 인간 시각皮질의 기능적 조직을 정밀하게 제어하거나 탐사할 수 있는가?

주요 결과

• NeuroGen은 10개 최적 클래스에서 총 100장의 이미지를 성공적으로 합성하여 타겟 시각 영역에서 예측된 활성도를 최대화했으며, 분석을 위해 상위 10장의 이미지를 선정했다.
• 단지 10장의 합성 이미지만으로도 지역적 및 개인별 뇌 반응 패턴의 차이를 탐지하고 증폭시킬 수 있었으며, 자연 이미지 세트보다 뛰어난 성능을 보였다.
• NeuroGen이 생성한 이미지의 예측 활성 패턴은 ImageNet에서의 최고 매칭 자연 이미지로는 도달할 수 없었던 시각 영역의 활성 패턴을 유도할 것으로 예측되었다.
• NeuroGen의 합성 이미지에서 예측된 활성 패턴은 수천 개의 관측 fMRI 반응과 비교하여 검증되었으며, 탐지 결과의 신뢰성과 일반화 가능성 확인되었다.
• 인코딩 모델이 측정 변동성을 부드럽게 하는 능력을 통해 노이즈에 강건한 프레임워크를 보였으며, 최소한의 데이터로 정밀한 탐색이 가능했다.
• BigGAN-deep의 트렁케이션 파라미터는 이미지 품질과 다양성을 균형 잡기 위해 0.4로 설정되어, 신경과학 실험에 적합한 고품질의 합성 자극을 제공했다.