[논문 리뷰] Sharing deep generative representation for perceived image reconstruction from human brain activity

Changde Du, Changying Du외 1명|arXiv (Cornell University)|2017. 04. 25.

Cell Image Analysis Techniques인용 수 15

한 줄 요약

이 논문은 공유 비선형 잠재 표현을 통해 자극과 신경 반응을 함께 모델링함으로써 fMRI 뇌 활동에서 인식된 시각적 이미지를 재구성하는 딥 생성 다중시점 모델(DGMM)을 제안한다. 딥 신경망을 이용한 이미지 모델링과 fMRI 볼륨소자 상관관계에 대한 전순위 공분산을 활용하고, 변분 베이지안 추론 및 사후 정규화를 통해, 세 가지 데이터셋에서 최신 기준 성능을 달성하며, SSIM 및 PCC 측정치에서 이전 방법들을 크게 능가한다.

ABSTRACT

Decoding human brain activities via functional magnetic resonance imaging (fMRI) has gained increasing attention in recent years. While encouraging results have been reported in brain states classification tasks, reconstructing the details of human visual experience still remains difficult. Two main challenges that hinder the development of effective models are the perplexing fMRI measurement noise and the high dimensionality of limited data instances. Existing methods generally suffer from one or both of these issues and yield dissatisfactory results. In this paper, we tackle this problem by casting the reconstruction of visual stimulus as the Bayesian inference of missing view in a multiview latent variable model. Sharing a common latent representation, our joint generative model of external stimulus and brain response is not only "deep" in extracting nonlinear features from visual images, but also powerful in capturing correlations among voxel activities of fMRI recordings. The nonlinearity and deep structure endow our model with strong representation ability, while the correlations of voxel activities are critical for suppressing noise and improving prediction. We devise an efficient variational Bayesian method to infer the latent variables and the model parameters. To further improve the reconstruction accuracy, the latent representations of testing instances are enforced to be close to that of their neighbours from the training set via posterior regularization. Experiments on three fMRI recording datasets demonstrate that our approach can more accurately reconstruct visual stimuli.

연구 동기 및 목표

• 노이즈가 많고 고차원적인 fMRI 데이터로부터 세밀한 시각 자극을 재구성하는 데 도전하는 것.
• 기존의 fMRI-이미지 재구성 방법에서의 선형 모델 제한성과 낮은 노이즈 억제 성능을 극복하는 것.
• 이미지의 비선형 특징과 fMRI 볼륨소자 간 상관관계를 포괄하는 딥 생성 모델을 개발하는 것.
• 시험 시 잠재 표현에 대한 사후 정규화를 통해 구조적 일致성을 강제함으로써 재구성 정확도를 향상시키는 것.
• 모델 평균화를 통해 소규모 fMRI 데이터셋에서 과적합을 줄이는 확률적이고 베이지안 프레임워크를 제공하는 것.

제안 방법

• 공유 잠재 공간을 가진 다중시점 잠재변수 모델에서 누락된 시점으로서의 이미지 재구성을 베이지안 추론 문제로 공식화한다.
• 비선형 관측 모델로 딥 신경망(예: CNN 또는 MLP)을 사용하여 이미지의 특징 표현을 향상시킨다.
• fMRI 볼륨소자 활동을 전순위 정규분포로 모델링하며, 계산 비용을 줄이기 위해 저차원 공분산으로 축소한다.
• 잠재 변수와 모델 파라미터를 추정하기 위해 효율적인 평균장 변분 베이지안 추론 방법을 사용한다.
• 시험 시 잠재 표현이 훈련 데이터의 이웃과 유사하도록 제약을 가하는 사후 정규화를 적용하여 일반화 성능을 향상시킨다.
• 베이지안 추론을 통한 모델 평균화를 통합하여 제한된 fMRI 데이터에서의 과적합을 완화한다.

실험 결과

연구 질문

• RQ1 공유 잠재 표현을 가진 딥 생성 모델이 fMRI에서 시각 이미지를 재구성하는 데 있어 선형 모델이나 비생성 모델보다 우월한가?
• RQ2 fMRI 볼륨소자 활동에 대해 전순위 공분산 구조를 사용할 경우 노이즈 억제와 재구성 정확도가 얼마나 향상되는가?
• RQ3 사후 정규화가 시험 시 잠재 표현을 훈련 데이터 이웃과 일치시켜 일반화 성능을 향상시키는 데 얼마나 효과적인가?
• RQ4 이미지 모델링에 비선형 딥 특징을 통합할 경우 선형 모델나 얕은 모델보다 더 나은 재구성 성능를 달성하는가?
• RQ5 완전히 생성적인 베이지안 프레임워크가 소규모 fMRI 데이터셋에서 판별적 또는 이중단계 방법보다 더 높은 성능을 낼 수 있는가?

주요 결과

• Dataset 1에서 DGMM은 PCC 0.611 ± 0.183을 기록하여 BCCA(0.438 ± 0.215) 및 DCCAE 변종을 뛰어넘었다.
• Dataset 2에서 DGMM은 SSIM 0.645 ± 0.054를 기록하여 De-CNN(0.613 ± 0.043) 및 기타 기준 모델을 초월했다.
• Dataset 3에서 DGMM은 재구성된 이미지에 대해 분류 정확도 0.778 ± 0.083를 달성하여 BCCA(0.600 ± 0.098) 및 DCCAE-S(0.478 ± 0.155)보다 뚜렷하게 높았다.
• 모든 세 데이터셋에서 DGMM은 일관된 우수성을 보였으며, Dataset 2에서는 다음으로 우수한 방법보다 최대 0.15의 SSIM 향상을 기록했다.
• DGMM은 시각적 유사성(SSIM)과 상관관계(PCC) 모두에서 최신 기준 성능을 달성하여 재구성 정밀도 향상을 시사했다.
• 사후 정규화는 일반화 성능 향상에 기여하였으며, 이는 시험 인스턴스에서 일관된 성능 향상으로 확인되었다.