[논문 리뷰] Deep adversarial neural decoding

Yağmur Güçlütürk, Umut Güçlü외 4명|arXiv (Cornell University)|2017. 05. 19.

Face Recognition and Perception참고 문헌 24인용 수 4

한 줄 요약

이 논문은 fMRI 뇌 반응으로부터 고해상도 얼굴 영상을 복원하기 위해 확률적 추론과 딥 생성 모델을 결합한 새로운 방법인 딥 적대적 신경 복원(DAND)을 소개한다. 최대 사후확률 추정을 통해 선형 뇌 반응을 은닉 특징으로 역으로 변환한 후, 비선형 자극-특징 맵핑을 역으로 풀기 위해 CNN의 적대적 훈련을 사용함으로써 DAND는 기존 기준 방법들보다 훨씬 뛰어난 특징 유사도, 상관관계 및 구조적 유사도를 달성하여 최신 기술 수준의 복원 정확도를 확보한다.

ABSTRACT

Here, we present a novel approach to solve the problem of reconstructing perceived stimuli from brain responses by combining probabilistic inference with deep learning. Our approach first inverts the linear transformation from latent features to brain responses with maximum a posteriori estimation and then inverts the nonlinear transformation from perceived stimuli to latent features with adversarial training of convolutional neural networks. We test our approach with a functional magnetic resonance imaging experiment and show that it can generate state-of-the-art reconstructions of perceived faces from brain activations.

연구 동기 및 목표

• 복잡한 자연주의 자극, 특히 얼굴을 fMRI 뇌 활동으로부터 고해상도로 복원하는 데 도전하는 것.
• 선형 모델이나 단순한 딥 네트워크에 의존하는 이전 신경 복원 방법의 한계를 극복하여 복잡한 비선형 뇌 표현을 포착하지 못하는 문제를 해결하는 것.
• 확률적 추론과 딥 생성 모델링을 통합하여 복원 품질과 현실감을 향상시키는 것.
• 특히 자극의 복잡성과 성별 관련 특징과 같은 인지적 요인이 복원 정확도에 미치는 영향을 규명하는 것.

제안 방법

• 관측된 뇌 반응으로부터 은닉 표현을 추론하기 위해 최대 사후확률(MAP) 추정을 사용하여 은닉 특징에서 fMRI 반응으로의 선형 맵핑을 역으로 푸는 방법.
• 699차원 주성분 점수를 생성하기 위해 VGG-Face 기반 특징 추출기가 미세조정되어 효율적이고 의미 있는 표현 학습을 가능하게 한다.
• 64×64×3 크기의 얼굴 영상으로 699D 은닉 코드를 다시 매핑하기 위해 조건부 생성 적대적 네트워크(cGAN)를 훈련시키며, 디컨volution 레이어로 구성된 생성자와 패치 기반 판별자를 사용한다.
• 생성자는 배치 정규화와 ReLU/Leaky ReLU 활성화 함수를 갖는 다섯 개의 디컨볼루션 레이어를 사용하고, 판별자는 Leaky ReLU와 배치 정규화를 적용한 컨볼루션 레이어를 사용한다.
• 재구성된 영상의 시각적 품질과 현실감을 향상시키기 위해 적대적 손실을 사용하여 엔드 투 엔드로 모델을 훈련시킨다.
• 베이즈 정리가 적용되어 후행 추론 문제를 수립하며, 재구성이 관측된 뇌 반응을 바탕으로 한 은닉 코드의 MAP 추정치로 얻어진다.

실험 결과

연구 질문

• RQ1 확률적 추론과 결합된 딥 생성 모델이 기존 방법에 비해 복잡한 자연주의 자극을 fMRI 데이터로부터 더 뛰어난 정확도로 재구성할 수 있는가?
• RQ2 복잡성, 성별, 민족성과 같은 인지적 요인이 얼굴 자극의 신경 복원 정확도에 유의미하게 영향을 미치는가?
• RQ3 자극의 복잡성과 재구성 품질 사이의 상관관계는 무엇이며, 이는 성별 기반의 복원 성능 차이를 설명할 수 있는가?
• RQ4 남성성, 여성성, 매력성과 같은 주관적 특성이 재구성된 얼굴의 정밀도에 어느 정도 영향을 미치는가?

주요 결과

• DAND는 테스트된 모든 방법 중에서 가장 높은 재구성 정확도를 기록했으며, 특징 유사도는 S1 기준 0.1900 ± 0.0052, S2 기준 0.1867 ± 0.0054를 기록하여 신원 기반 및 고유얼굴 기반 기준보다 유의미하게 뛰어났다.
• 재구성된 영상와 목표 영상 간 피어슨 상관계수는 S2 기준 0.4722 ± 0.0344에 도달하여 전체 영상 구조에서 강한 일치를 보였다.
• 구조적 유사도 지수-SSIM 값은 S2 기준 0.4676 ± 0.0130로 얼굴의 구조와 질감에서 높은 시각적 유사도를 나타내었다.
• 자극의 복잡성(파일 크기로 측정)과 재구성 정확도 사이에 유의미한 음의 상관관계(r = -0.3067, p < 0.05)가 발견되어 더 단순한 자극이 더 정확하게 재구성됨을 시사했다.
• 남성성은 재구성 정확도와 유의미한 양의 상관관계(r = 0.3841)를 보였고, 여성성은 음의 상관관계(r = -0.3961)를 보였으며, 이는 성별 관련 특징이 복원 성능에 영향을 미친다는 것을 시사한다.
• 여성 얼굴 영상의 복잡성이 남성 얼굴 영상보다 유의미하게 높았으며(p < 0.05), 이 복잡성의 차이가 관측된 성별 기반 성능 차이의 근본 원인일 가능성이 있다.