[논문 리뷰] Category decoding of visual stimuli from human brain activity using a bidirectional recurrent neural network to simulate bidirectional information flows in human visual cortices

Kai Qiao, Jian Chen외 5명|arXiv (Cornell University)|2019. 03. 19.

Visual perception and processing mechanisms참고 문헌 35인용 수 5

한 줄 요약

이 논문은 인간의 시각皮質에서의 하향 및 상행 정보 흐름을 시뮬레이션하여 fMRI 데이터로부터 시각적 물체 카테고리를 복원하기 위해 이방향 순환 신경망(BRNN) 모델을 제안한다. 시각 영역(V1–LO)의 fMRI 볼륨 반응을 순차적 입력으로 간주함으로써 BRNN는 계층적이고 이방향 표현을 포착하여 기존 방법보다 향상된 3단계 카테고리 복원 정확도를 달성한다.

ABSTRACT

Recently, visual encoding and decoding based on functional magnetic resonance imaging (fMRI) have realized many achievements with the rapid development of deep network computation. Despite the hierarchically similar representations of deep network and human vision, visual information flows from primary visual cortices to high visual cortices and vice versa based on the bottom-up and top-down manners, respectively. Inspired by the bidirectional information flows, we proposed a bidirectional recurrent neural network (BRNN)-based method to decode the categories from fMRI data. The forward and backward directions in the BRNN module characterized the bottom-up and top-down manners, respectively. The proposed method regarded the selected voxels of each visual cortex region (V1, V2, V3, V4, and LO) as one node in the sequence fed into the BRNN module and combined the output of the BRNN module to decode the categories with the subsequent fully connected layer. This new method allows the efficient utilization of hierarchical information representations and bidirectional information flows in human visual cortices. Experiment results demonstrated that our method improved the accuracy of three-level category decoding than other methods, which implicitly validated the hierarchical and bidirectional human visual representations. Comparative analysis revealed that the category representations of human visual cortices were hierarchical, distributed, complementary, and correlative.

연구 동기 및 목표

• fMRI 데이터로부터 시각적 물체 카테고리를 더 잘 복원하기 위해 인간 시각皮질의 이중방향 정보 흐름을 모방하는 딥 러닝 모델을 개발하는 것.
• 하향 및 상행 처리를 모두 모델링할 경우 단방향 또는 피드포워드 네트워크보다 복원 성능이 향상되는지 조사하는 것.
• 인간 시각皮질 영역 간에 시각적 카테고리 표현이 계층적이고 분산적이며 상호 연관적인 성질을 가지는지 검증하는 것.
• 시각적 활동 패턴의 순서 모델링을 통해 fMRI 데이터를 이용한 다수준 시각적 카테고리 분류의 정확도를 향상시키는 것.

제안 방법

• 이 방법은 다섯 개인 시각 피질 영역(V1, V2, V3, V4, LO)의 fMRI 볼륨 반응을 순서로 처리하기 위해 이방향 순환 신경망(BRNN)을 사용한다.
• 각 영역의 선택된 볼륨은 순서 내의 단일 노드로 간주되어 BRNN이 피질 영역 간의 시간적 동역학을 모델링할 수 있도록 한다.
• BRNN의 전진 방향은 초기 시각 영역에서 고차원 영역으로 향하는 상행 처리를 시뮬레이션하고, 역방향은 하향 피드백을 모델링한다.
• BRNN의 전진 및 역방향 은닉 상태를 연결하여 최종 카테고리 분류를 위한 완전 연결 층에 입력한다.
• 모델은 지도 학습을 통해 fMRI 활동 패턴으로부터 시각적 물체 카테고리를 예측하도록 엔드 투 엔드로 훈련된다.
• 이 방법은 계층적이고 이중방향 표현을 활용하여 복원 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 시각皮질에서의 이중방향 정보 흐름을 모델링하면 fMRI 데이터로부터의 카테고리 복원 정확도가 향상되는가?
• RQ2 시각 영역 간의 계층적이고 분산된 표현은 카테고리 복원에 어떻게 기여하는가?
• RQ3 순환 아키텍처에서 하향 및 상행 처리를 함께 모델링하는 것이 단방향 또는 피드포워드 모델보다 더 효과적인가?
• RQ4 다른 시각 피질 영역 간에 시각적 카테고리 표현이 어느 정도 상호 보완적이고 상관적인가?

주요 결과

• 제안된 BRNN 기반 방법은 fMRI 데이터셋에서 다른 최첨단 방법보다 높은 3단계 카테고리 복원 정확도를 달성했다.
• 정확도 향상은 이중방향 정보 흐름을 모델링함으로써 fMRI 데이터 내 시각적 카테고리 표현이 향상됨을 시사한다.
• 비교 분석을 통해 인간 시각皮질에서의 시각적 카테고리 표현이 계층적이고 분산적이며 상호 보완적이고 상관적인 성질을 가짐을 확인했다.
• 결과는 BRNN 아키텍처가 인간 시각 처리를 시뮬레이션하는 데 생물학적으로 타당하다는 것을 암묵적으로 검증한다.
• BRNN의 전진 및 역방향 방향은 시각 정보 흐름에서 상행 및 하향 처리 동역학을 효과적으로 포착했다.