[논문 리뷰] Deep Auto-encoder with Neural Response

Xuming Ran, Jie Zhang외 5명|arXiv (Cornell University)|2021. 11. 30.

Neural dynamics and brain function참고 문헌 44인용 수 5

한 줄 요약

이 논문은 생물학적 신경 파동 자극 데이터를 딥 오토인코더에 통합하여 이미지 복원과 신경 반응 예측을 동시에 최적화하는 통합 프레임워크인 딥 오토인코더-신경 반응(DAE-NR)을 제안한다. 특정 인코더 레이어에 포isson 손실을 적용하여 실제 신경 반응을 예측하면서도 이미지 복원을 수행함으로써, DAE-NR는 기준 모델 대비 향상된 이미지 복원 성능과 더불어 인공 신경세포와 생물학적 신경세포 간의 표현 유사도를 높인다.

ABSTRACT

Artificial neural network (ANN) is a versatile tool to study the neural representation in the ventral visual stream, and the knowledge in neuroscience in return inspires ANN models to improve performance in the task. However, it is still unclear how to merge these two directions into a unified framework. In this study, we propose an integrated framework called Deep Autoencoder with Neural Response (DAE-NR), which incorporates information from ANN and the visual cortex to achieve better image reconstruction performance and higher neural representation similarity between biological and artificial neurons. The same visual stimuli (i.e., natural images) are input to both the mice brain and DAE-NR. The encoder of DAE-NR jointly learns the dependencies from neural spike encoding and image reconstruction. For the neural spike encoding task, the features derived from a specific hidden layer of the encoder are transformed by a mapping function to predict the ground-truth neural response under the constraint of image reconstruction. Simultaneously, for the image reconstruction task, the latent representation obtained by the encoder is assigned to a decoder to restore the original image under the guidance of neural information. In DAE-NR, the learning process of encoder, mapping function and decoder are all implicitly constrained by these two tasks. Our experiments demonstrate that if and only if with the joint learning, DAE-NRs can improve the performance of visual image reconstruction and increase the representation similarity between biological neurons and artificial neurons. The DAE-NR offers a new perspective on the integration of computer vision and neuroscience.

연구 동기 및 목표

• 이미지 복원과 인공 신경세포 및 생물학적 신경세포 간의 표현 유사도를 동시에 향상시키는 통합 프레임워크를 개발하기 위해.
• 기존 모델들이 이미지 복원 최적화 또는 신경 반응 예측 최적화 중 하나만 수행하는 데에 그치는 격차를 해소하기 위해.
• 딥 오토인코더 학습 중에 쥐의 시각 피질에서 측정한 실제 신경 파동 반응 데이터를 지도 신호로 활용하기 위해.
• 인공 신경망의 생물학적 타당성과 해석 가능성을 높이기 위해 인공 신경세포 표현을 실제皮질 반응과 일치시키기 위해.

제안 방법

• DAE-NR 프레임워크는 공유된 잠재 표현을 통해 이미지 복원과 신경 반응 예측을 동시에 학습하는 딥 오토인코더를 사용한다.
• 특정 인코더 레이어의 특징을 변환하는 매핑 함수를 통해 실제 신경 파동 반응을 예측하며, 이는 이미지 복원 목표에 의해 제약을 받는다.
• 디코더는 잠재 표현을 사용하여 원본 이미지를 복원하며, 복원 손실이 의미 있는 특징 학습을 이끌도록 이끈다.
• 신경 반응 예측에 포isson 손실을 적용하여 스파iking 활동을 모델링하고, 신경 스파이크 데이터의 통계적 성질과 일치시킨다.
• 인코더, 매핑 함수, 디코더는 이미지 복원과 신경 반응 예측의 이중 목표를 함께 최적화하여 공동 학습된다.
• 프레임워크는 자연 이미지를 생물학적 뇌와 DAE-NR 모델 양쪽에 입력하여 쥐의 시각 피질 데이터를 기반으로 평가된다.

실험 결과

연구 질문

• RQ1 이미지 복원과 신경 반응 예측의 공동 학습이 이미지 복원 품질 향상과 신경 표현 유사도 향상에 기여하는가?
• RQ2 실제 신경 파동 반응을 제약 조건으로 통합할 경우, 인공 신경세포와 생물학적 신경세포 간의 표현 유사도는 어떻게 변화하는가?
• RQ3 이중 학습 환경에서 신경 반응 예측에 포isson 손실을 사용할 경우, 표준 회귀 손실 대비 성능 향상이 이루어지는가?
• RQ4 신경 반응 데이터 통합이 오토인코더 기반 이미지 복원 모델의 강건성과 일반화 능력을 향상시키는가?

주요 결과

• DAE-NR는 이미지 복원 성능을 크게 향상시켜 Region 2에서 평균 PSNR 19.852를 기록하며, 기준 오토인코더인 CAE(PSNR 17.289)와 VAE(PSNR 15.983)를 모두 초월한다.
• 모델은 생물학적 신경세포와 가장 높은 표현 유사도를 달성했으며, Region 3에서 최고 PCC 0.427(모델: VQ-VAE-FC)를 기록하여 최고의 기준 모델(CNN-FR, PCC 0.359)을 뛰어넘었다.
• 포isson 손실을 적용한 공동 학습 프레임워크는 모든 영역에서 표준 오토인코더 대비 PSNR 2.5–3.5 dB 향상되었다.
• FM(팩터라이즈드 매핑) 헤드를 사용한 DAE-NR 모델은 FC(완전 연결)나 FR(팩터라이즈드 리더아웃) 헤드보다 더 높은 PCC(최대 0.427)를 기록하여 생물학적 반응과의 일치도가 뛰어나다는 것을 보여주었다.
• 복원과 신경 반응 예측의 공동 최적화가 양쪽 작업의 성능 향상에 기여함을 확인하였으며, 이는 이중 목표의 상호 이점이 있음을 입증한다.
• 프레임워크는 일반화 가능성이 높으며, VAE, VQ-VAE 등의 다른 오토인코더 변종에 적용할 수 있고, 토끼나 다른 체계 또는 감각 모odalities에도 응용 가능할 것으로 기대된다.