[논문 리뷰] Reconstructing Perceived Images from Brain Activity by Visually-guided Cognitive Representation and Adversarial Learning

Ziqi Ren, Jie Li외 5명|arXiv (Cornell University)|2019. 06. 27.

Cell Image Analysis Techniques참고 문헌 38인용 수 5

한 줄 요약

이 논문은 적대적 학습과 지식 정복을 통해 시각적으로 유도된 인지 잠재 표현을 학습하여 fMRI 신호로부터 시각 자극을 복원하는 새로운 프레임워크인 D-Vae/GAN을 제안한다. 이중 변동형 오토에코더와 적대적 학습 기반의 이종간 지식 정복 전략, 그리고 삼단계 학습 전략을 조합함으로써, 공개 fMRI 데이터셋에서 기존 방법보다 최대 Pix-Com 기준 11.7%, Hum-Com 기준 9.7% 향상된 최신 기술 수준의 이미지 복원 품질을 달성한다.

ABSTRACT

Reconstructing visual stimulus (image) only from human brain activity measured with functional Magnetic Resonance Imaging (fMRI) is a significant and meaningful task in Human-AI collaboration. However, the inconsistent distribution and representation between fMRI signals and visual images cause the heterogeneity gap. Moreover, the fMRI data is often extremely high-dimensional and contains a lot of visually-irrelevant information. Existing methods generally suffer from these issues so that a satisfactory reconstruction is still challenging. In this paper, we show that it is possible to overcome these challenges by learning visually-guided cognitive latent representations from the fMRI signals, and inversely decoding them to the image stimuli. The resulting framework is called Dual-Variational Autoencoder/ Generative Adversarial Network (D-VAE/GAN), which combines the advantages of adversarial representation learning with knowledge distillation. In addition, we introduce a novel three-stage learning approach which enables the (cognitive) encoder to gradually distill useful knowledge from the paired (visual) encoder during the learning process. Extensive experimental results on both artificial and natural images have demonstrated that our method could achieve surprisingly good results and outperform all other alternatives.

연구 동기 및 목표

• 노이즈가 많고 고차원적인 fMRI 신호에서 고품질의 시각 자극을 복원하는 데 도전하는 것 — 이는 모odal 갭과 이질성으로 인해 어려움을 겪는다.
• 기존 방법들이 표현 학습이 열악하고 시각적 유도가 부족하여 흐릿하고 낮은 신뢰도의 복원 결과를 낳는 한계를 극복하는 것.
• 추가 애너테이션 없이도 쌍체의 시각 데이터에서 유래한 지식을 활용하여 fMRI 데이터로부터 분리된, 시각적으로 관련 있는 인지 표현을 학습하는 프레임워크를 개발하는 것.
• 인지 특징과 시각 특징을 점진적으로 정렬하는 적대적 학습과 삼단계 학습 전략을 통합하여 복원 정밀도를 향상시키는 것.
• 다양한 공개 fMRI 데이터셋에서 메서드의 효과성을 검증하고, 다양한 뇌 영역이 시각 자극의 구조적 및 색상 정보를 어떻게 인코딩하는지 분석하는 것.

제안 방법

• 프레임워크는 fMRI 신호와 시각 자극 양쪽에서 저차원의 분리된 잠재 표현을 학습하기 위해 이중 VAE 기반 인코딩 네트워크를 사용한다.
• 인지 잠재 특징과 시각 특징을 정렬하기 위해 이종간 지식 정복 기반의 GAN 메커니즘이 도입되며, 이는 인지 인코더가 시각 인코더를 모방하도록 유도한다.
• 적대적 학습을 통해 학습된 인지 잠재 특징에서 고품질의 이미지를 복원하기 위해 적대적 디코딩 네트워크가 사용된다.
• 시각 지식을 인지 인코더에 점진적으로 정복하기 위해 새로운 삼단계 학습 전략이 도입되어 안정성과 성능을 향상시킨다.
• 표현 학습과 이미지 복원을 동시에 최적화하기 위해 VAE 손실, 적대적 손실, 지식 정복 손실의 조합을 사용한다.
• 프레임워크는 추가 애너테이션이 필요 없이 쌍체의 fMRI 및 이미지 데이터를 엔드 투 엔드로 훈련한다.

실험 결과

연구 질문

• RQ1 깊이 학습 프레임워크가 시각적으로 유도된 인지 표현을 학습함으로써 fMRI 신호로부터 고품질의 시각 자극을 효과적으로 복원할 수 있는가?
• RQ2 fMRI와 시각 특징 간의 이종간 지식 정복이 복원 정밀도를 향상시키고 모달 갭을 줄이는 데 어떤 기여를 하는가?
• RQ3 삼단계 학습 전략이 복원 모델의 안정성과 성능 향상에 기여하는 바는 무엇인가?
• RQ4 어느 뇌 영역(ROIs)이 시각 자극의 구조적 정보와 색상 정보를 가장 잘 담당하는가, 그리고 그 정보는 얼마나 잘 복원되는가?
• RQ5 제안된 D-Vae/GAN 프레임워크가 정량적 지표와 주관적 품질 측면에서 기존 최신 기술 수준의 방법들을 초월하는가?

주요 결과

• 제안된 D-Vae/GAN 프레임워크는 Pix-Com 점수 87.8%와 Hum-Com 점수 97.3%를 기록하여, 이전 방법보다 Pix-Com 기준 9.7%, Hum-Com 기준 1.6% 향상된 성능을 달성했다.
• 논문 [25]보다 Pix-Com 기준 11.7%, Hum-Com 기준 0.3% 향상되어 복원 품질 향상이 뚜렷하게 입증되었다.
• Ablation 연구 결과, 이중 VAE 기반 인코더를 제거하거나 표준 CNN으로 대체할 경우 성능 저하가 심각하게 발생하여, 이 인코더의 핵심적 역할을 확인했다.
• 지식 정복을 통한 시각 특징 유도로 복원 성능이 78.9%(Pix-Com)에서 87.8%로 향상되었으며, 추가 애너테이션이 없이도 시각 유도의 효과가 입증되었다.
• 구조적 세부 정보는 초기 시각 영역(V1–V3)에서 더 잘 복원되었고, 색상 정보는 중위 수준 영역(V4)과 고위 수준 시각皮질(LOC, FFA, PPA)에서 더 정확하게 포착되었다.
• 전체 시각皮질(VC) fMRI 신호는 구조적 및 색상 특성을 모두 유지하는 가장 완전한 복원을 가능하게 하여, 이 메서드의 강건성과 해석 가능성에 대한 검증을 제공했다.