[논문 리뷰] DCNN-GAN: Reconstructing Realistic Image from fMRI

Yunfeng Lin, Jiangbei Li외 1명|arXiv (Cornell University)|2019. 01. 13.

Cell Image Analysis Techniques참고 문헌 13인용 수 7

한 줄 요약

이 논문은 VGG-19 기반 인코더, 리지 정규화된 fMRI 디코더, 그리고 정제를 위한 pix2pix GAN을 결합한 딥 러닝 프레임워크인 DCNN-GAN을 제안한다. 이 방법은 다양한 이미지 카테고리에서 고성능의 이미지 재구성 품질과 실시간 추론을 달성하며, 정량적 지표와 인간 평가 모두에서 이전 방법들을 크게 능가한다.

ABSTRACT

Visualizing the perceptual content by analyzing human functional magnetic resonance imaging (fMRI) has been an active research area. However, due to its high dimensionality, complex dimensional structure, and small number of samples available, reconstructing realistic images from fMRI remains challenging. Recently with the development of convolutional neural network (CNN) and generative adversarial network (GAN), mapping multi-voxel fMRI data to complex, realistic images has been made possible. In this paper, we propose a model, DCNN-GAN, by combining a reconstruction network and GAN. We utilize the CNN for hierarchical feature extraction and the DCNN-GAN to reconstruct more realistic images. Extensive experiments have been conducted, showing that our method outperforms previous works, regarding reconstruction quality and computational cost.

연구 동기 및 목표

• 고차원적이고 샘플 수가 적은 fMRI 데이터로부터 고품질의 현실적인 이미지를 재구성하는 데 도전한다.
• 딥 테두리 추출과 적대적 정제를 통합하여 디코딩 정확도와 이미지의 현실감을 향상시킨다.
• 정신적 또는 지각적 충실도를 희생시키지 않고 실시간 재구성 가능성을 확보한다.
• 특정 클래스에 국한되지 않고 다양한 이미지 카테고리로 일반화된다.
• fMRI 디코더에서 리지 회귀를 통해 수치적 안정성과 특징 재구성 능력을 향상시킨다.

제안 방법

• 실제 이미지에서 계층적 딥 특징을 추출하기 위해 VGG-19 네트워크를 사용하여 지도 학습을 수행한다.
• 리지 회귀를 사용해 다중 볼륨 fMRI 패턴을 추출된 DNN 특징으로 매핑하는 fMRI 디코더를 설계하여 수치적 안정성을 향상시킨다.
• 디코딩된 특징에서 거칠은 이미지를 생성하는 재구성 네트워크를 설계한다.
• 조건부 GAN(pix2pix)을 통해 픽셀 단위의 변환을 학습하여 거친 이미지를 더 현실적으로 정제한다.
• VGG-19 특징에서 유도된 인지적 손실과 GAN 판별기에서 유도된 적대적 손실을 조합하여 엔드 투 엔드로 모델을 훈련시킨다.
• 디코딩된 특징의 차원을 감소시키고 카테고리별 사전 지식을 활용하여 의미적 타당성을 향상시킨다.

실험 결과

연구 질문

• RQ1 리지 정규화가 적용된 딥 CNN 기반 디코더가 비정규화된 선형 모델에 비해 fMRI에서 특징으로의 매핑 정확도를 향상시킬 수 있는가?
• RQ2 적대적 정제 단계를 통한 GAN 기반 방법이 fMRI에서 재구성된 이미지의 지각적 품질과 현실감을 크게 향상시킬 수 있는가?
• RQ3 사전 학습된 VGG-19에서 유도된 계층적 특징의 통합이 다양한 이미지 카테고리에서 재구성 정밀도를 향상시킬 수 있는가?
• RQ4 제안된 방법이 품질을 희생시키지 않고 실시간 이미지 재구성 성능를 달성할 수 있는가?
• RQ5 정량적 지표와 인간의 지각 평가 모두에서 DCNN-GAN의 성능은 기존 방법과 비교해 어떻게 뛰어나게 되는가?

주요 결과

• 제안된 방법은 인간 지각 연구에서 55.7%의 재구성 정확도를 달성하여 기존 모델의 44.3%보다 유의미하게 높았다.
• 재구성된 이미지에 대한 인간 만족도는 제안된 방법에 의해 12.4%에서 20.1%로 상승하여 지각적 품질 향상을 시사했다.
• 다양한 이미지 카테고리에서 정량적 지표(FID, SSIM 등)와 정성적 평가 모두에서 이전 방법들을 능가하는 성능을 보였다.
• fMRI 디코더에서 리지 회귀를 사용함으로써 수치적 안정성이 향상되고 과적합이 감소하였으며, 특히 fMRI 샘플 수가 적은 상황에서 유리했다.
• GAN 구성 요소의 통합으로 반복 최적화 방법에 비해 더 선명한 질감과 더 의미적으로 타당한 세부 정보를 가진 이미지를 생성하였다.
• 시스템은 실시간 재구성을 달성하여 뇌-컴퓨터 인터페이스 분야에서 실용적이고 상호작용 가능한 응용 분야에 적합하다.