[논문 리뷰] Reconstructing Perceptive Images from Brain Activity by Shape-Semantic GAN

Tao Fang, Yu Qi외 1명|arXiv (Cornell University)|2021. 01. 28.

Cell Image Analysis Techniques참고 문헌 29인용 수 20

한 줄 요약

이 논문은 뇌의 하위 시각 피질에서 형태 특징을 복원하고 고위 시각 피질에서 의미 특징을 복원한 다음, 이를 GAN을 통해 융합하여 고품질이고 자연스러운 이미지를 생성하는 새로운 fMRI 기반 이미지 복원 방법인 Shape-Semantic GAN을 제안한다. 이 방법은 계층적 뇌 표현과 데이터 증강을 활용하여 이전 방법보다 복원 유사도와 시각적 품질을 향상시켜 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Reconstructing seeing images from fMRI recordings is an absorbing research area in neuroscience and provides a potential brain-reading technology. The challenge lies in that visual encoding in brain is highly complex and not fully revealed. Inspired by the theory that visual features are hierarchically represented in cortex, we propose to break the complex visual signals into multi-level components and decode each component separately. Specifically, we decode shape and semantic representations from the lower and higher visual cortex respectively, and merge the shape and semantic information to images by a generative adversarial network (Shape-Semantic GAN). This 'divide and conquer' strategy captures visual information more accurately. Experiments demonstrate that Shape-Semantic GAN improves the reconstruction similarity and image quality, and achieves the state-of-the-art image reconstruction performance.

연구 동기 및 목표

• 복잡한 자연 이미지를 fMRI 신호에서 복원하는 데 있어 뇌의 복잡하고 계층적인 시각 인코딩으로 인해 여전히 어려운 과제를 해결하기 위해.
• 시각 처리의 계층적 조직을 활용하여 저수준(형태)과 고수준(의미) 특징 복원을 분리함으로써 이미지 복원 품질을 향상시키기 위해.
• 조건부 생성 적대적 네트워크(GAN)를 통해 복원된 형태 및 의미 특징을 융합함으로써 복원 정확도와 시각적 사실성(visual fidelity)을 향상시키기 위해.
• 작은 fMRI 데이터셋의 한계를 보완하기 위해 데이터 증강을 적용하여 GAN 학습 및 일반화 능력을 향상시키기 위해.

제안 방법

• 하위 시각 피질(LVC)의 fMRI 신호에서 형태 표현을 복원하기 위해 선형 모델을 사용하여 핵심 객체 윤곽을 캡처한다.
• 고위 시각 피질(HVC)의 fMRI 신호에서 고수준 의미 특징을 복원하기 위해 딥 네트워크(DNN) 모델을 사용하여 분류 기반 이미지 콘텐츠를 표현한다.
• 복원된 형태 및 의미 특징을 조건으로 사용하는 조건부 GAN인 Shape-Semantic GAN이 실제감 있는 이미지를 생성하여 시각적 타당성을 향상시킨다.
• 제한된 fMRI 데이터를 확장하기 위해 훈련 세트에 데이터 증강을 적용하여 GAN이 다양한 이미지 분포를 학습할 수 있는 능력을 향상시킨다.
• 프레임워크는 '분할하여 정복' 전략을 활용하여 생성 단계에서 병합하기 전에 형태 및 의미 성분을 별도로 복원한다.
• 고정밀도 이미지 생성을 보장하기 위해 적대적 손실과 인지적 손실을 함께 사용하여 엔드 투 엔드로 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 서로 다른 뇌 영역에서 복원된 저수준 형태 및 고수준 의미 특징의 복원을 분리함으로써 fMRI에서의 이미지 복원 성능을 향상시킬 수 있는가?
• RQ2 조건부 GAN을 통해 형태 및 의미 특징을 융합하면 종합적 모델 대비 더 높은 품질의 더 자연스러운 이미지 복원 결과를 얻을 수 있는가?
• RQ3 제한된 훈련 데이터를 가진 fMRI-이미지 생성 모델에서 데이터 증강이 성능 향상에 얼마나 기여하는가?
• RQ4 형태 복원이 노이즈가 많거나 모호할 경우 의미 정보의 포함 여부가 복원 정확도에 어떤 영향을 미치는가?

주요 결과

• Shape-Semantic GAN은 정량적 평가에서 의미 정보가 없는 기준 모델(62.5%)보다 높은 복원 유사도 점수(65.3%)를 기록하였다.
• 의미 정보 유도 복원 이미지에서는 형태가 노이즈가 많거나 모호하더라도 색상과 객체 세부 정보를 정확히 할당하는 데서 뚜렷한 시각적 품질 향상이 관찰되었다.
• 데이터 증강을 적용한 모델은 증강 없이 훈련한 경우(63.6%) 대비 65.3%의 복원 유사도를 기록하여 데이터 확장의 효과를 입증하였다.
• 제거 실험(ablation studies) 결과 의미 특징이 정확한 복원에 매우 중요하며, 형태 복원만으로는 잘못되거나 일관성 없는 이미지 세부 정보가 발생할 수 있음을 확인하였다.
• 이 프레임워크는 뇌의 시각 처리 계층적 구조를 효과적으로 활용하여 최신 기술 수준의 방법들을 능가하는 성능을 보였다.
• LVC와 HVC에서 별도로 복원하는 것이 병합된 시각 피질 신호를 사용하는 것보다 더 높은 성능을 보였으며, 이는 저상관도 뇌 영역의 간섭이 감소했기 때문일 것이다.