[논문 리뷰] Dissimilarity learning via Siamese network predicts brain imaging data

Aakash Agrawal|arXiv (Cornell University)|2019. 07. 01.

Neural dynamics and brain function참고 문헌 13인용 수 4

한 줄 요약

이 논문은 신경 미분소거 데이터를 직접 학습하여 뇌 영상 반응을 예측하는 시아모이즈 네트워크 기반의 비유사도 학습 프레임워크를 제안한다. 이미지 쌍의 특징 간 상관계수 거리를 예측하도록 대비 손실를 수정함으로써, 모델은 MEG 데이터셋에서 최신 기술 수준의 성능을 달성한다 — 특히 조기 시각皮질(EVC)과 후기 편측 뇌엽(IT) 반응에서 두드러진 성과를 보이며, 고신호대노이즈비(SNR) 신경 데이터에서 표준 분류 기반 접근법을 능가한다.

ABSTRACT

The advent of deep learning has a profound effect on visual neuroscience. It paved the way for new models to predict neural data. Although deep convolutional neural networks are explicitly trained for categorization, they learn a representation similar to a biological visual system. But categorization is not the only goal of the human visual system. Hence, the representation of a classification algorithm may not completely explain the visual processing stages. Here, I modified the traditional Siamese network loss function (Contrastive loss) to train them directly on neural dissimilarity. This network takes image pair as input and predicts the correlation distance between their output features. For Algonauts challenge, using dissimilarity learning, I fine-tuned the initial layers of Alexnet to predict MEG early response/EVC data and all the layers of VGG-16 to predict MEG late response/IT data. This approach is ideal for datasets with high SNR. Therefore, my model achieved state-of-the-art performance on MEG dataset but not fMRI.

연구 동기 및 목표

• 분류 기반 표현에 의존하지 않고 직접적으로 신경 비유사도를 모델링하는 딥러닝 프레임워크를 개발하는 것.
• 이미지 쌍 간의 상관계수 거리를 기반으로 학습하여 뇌 영상 반응 — 특히 MEG 데이터 — 의 예측을 향상시키는 것.
• 분류를 최적화하는 데 초점이 맞춰진 표준 CNN의 한계를 해결하는 것 — 즉, 이는 시각 처리의 功能적 계층을 완전히 반영하지 못할 수 있음.
• 비유사도 학습이 전통적인 분류 목표보다 생물학적 시각 처리 단계와 더 잘 일치하는가를 탐색하는 것.
• 고신호대노이즈비(SNR) MEG 데이터에서 성능을 평가하고, 저SNR을 가지는 fMRI와의 결과를 비교하는 것.

제안 방법

• 이미지 쌍의 특징 임베딩 간 상관계수 거리를 예측하기 위해 시아모이즈 네트워크를 수정하고, 수정된 대비 손실 함수를 사용한다.
• 이미지 쌍을 기반으로 네트워크를 엔드 투 엔드로 학습하며, 출력은 그들의 딥 특징 간 예측된 비유사도(상관계수 거리)이다.
• AlexNet의 초기 레이어를 미세조정하여 MEG 조기 반응(EVC) 데이터를 예측하고, VGG-16의 모든 레이어를 미세조정하여 MEG 후기 반응(IT) 데이터를 예측한다.
• 분류 정확도가 아닌 특징 공간 내 의미 있는 비유사도 학습을 강조하도록 재가중된 대비 손실 함수를 사용한다.
• 신경 비유사도의 직접적 회귀를 최적화함으로써, 네트워크가 실제 뇌 반응 패tern과 일치하는 표현을 학습할 수 있도록 한다.
• 학습된 모델을 뇌 영상 데이터에서 신경 반응을 예측하는 데 적용하며, 특히 고SNR MEG 기록에 집중한다.

실험 결과

연구 질문

• RQ1 신경 비유사도에 기반해 학습된 시아모이즈 네트워크가 뇌 영상 반응 예측에서 표준 분류 기반 모델을 능가할 수 있는가?
• RQ2 직접적인 비유사도 학습이 분류 최적화를 위한 표현 학습보다 인간 시각 시스템의 기능적 조직을 더 잘 반영하는가?
• RQ3 고SNR(MEG)와 저SNR(fMRI) 뇌 영상 모odalities 간 비유사도 학습의 성능는 어떻게 달라지는가?
• RQ4 사전 학습된 네트워크(예: AlexNet, VGG-16)의 미세조정이 특정 뇌 영역(EVC 대 IT)의 예측 성능 향상에 얼마나 기여하는가?
• RQ5 수정된 대비 손실 함수가 신경 특징 표현 간 상관계수 거리를 예측하도록 네트워크를 효과적으로 학습시킬 수 있는가?

주요 결과

• 제안된 비유사도 학습 접근법은 MEG 데이터셋에서 최신 기술 수준의 성능를 달성하였으며, 특히 조기 시각 피질(EVC)과 후기 편측 뇌엽(IT) 반응에서 두드러진 성과를 보였다.
• 고신호대노이즈비(SNR) MEG 데이터에서 표준 분류 기반 접근법을 능가함으로써, 이 방법이 고품질 신경 기록에 적합함을 시사한다.
• AlexNet의 초기 레이어를 미세조정함으로써 MEG 조기 반응(EVC) 데이터의 예측 성능이 향상되었으며, 이는 조기 시각 처리 단계와의 일치를 시사한다.
• VGG-16의 모든 레이어를 미세조정함으로써 MEG 후기 반응(IT) 데이터의 예측 성능이 향상되었으며, 이는 고차원 시각 처리를 효과적으로 모델링할 수 있음을 나타낸다.
• fMRI 데이터에서는 최신 기술 수준의 성능를 달성하지 못했으며, 이는 fMRI의 저SNR로 인해 비유사도 기반 학습의 효과성이 제한되기 때문일 것이다.
• 수정된 대비 손실 함수는 의미 있는 비유사도 표현을 학습시켜 실제 신경 반응과 상관관계를 가지는 네트워크를 성공적으로 학습시켰다.