[논문 리뷰] Recurrence required to capture the dynamic computations of the human ventral visual stream.

Tim C. Kietzmann, Courtney J. Spoerer외 4명|arXiv (Cornell University)|2019. 03. 14.

Neural dynamics and brain function참고 문헌 38인용 수 18

한 줄 요약

이 연구는 인간의 복합시각경로에서의 동적이고 이방향의 표현 변환을 포착하기 위해 순환 신경망 모델이 필수적임을 보여준다. 시간 해상도를 가진 fMRI와 딥러닝을 활용해 저자들은 촉각적 표현이 영역 간 양방향으로 빠르게 변화함을 보이며, 순환 모델이 다중 영역 신경 동역학을 재현하는 데서 피드포워드 아키텍처보다 뚜렷이 뛰어난 성능을 보임을 밝혀냈다.

ABSTRACT

The visual system is an intricate network of brain regions that enables us to recognize the world around us. Despite its abundant lateral and feedback connections, human object processing is commonly viewed and studied as a feedforward process. Here, we measure and model the rapid representational dynamics across multiple stages of the human ventral stream using time-resolved brain imaging and deep learning. We observe substantial representational transformations during the first 300 ms of processing within and across ventral-stream regions. Categorical divisions emerge in sequence, cascading forward and in reverse across regions, and Granger causality analysis suggests bidirectional information flow between regions. Finally, recurrent deep neural network models clearly outperform feedforward models in terms of their ability to jointly capture the multi-region cortical dynamics. These results establish that recurrent models are required to understand information processing in the human ventral stream.

연구 동기 및 목표

• 피드포워드 또는 순환 신경망 아키텍처 중 어느 것이 인간 복합시각경로의 동적 표현 변화를 더 잘 포착하는지 조사하기 위해.
• 처리 시작 후 300ms 이내에 복합시각경로의 여러 단계에서 물체 표현의 시간적 변화를 이해하기 위해.
• 그랑저 인과성 분석을 통해 복합시각경로 영역 간의 정보 흐름 방향성과 인과관계를 조사하기 위해.
• 인간 뇌 영상에서 관찰된 다중 영역 신경 동역학을 모델링하기 위해 순환 연결이 필수적인지 확인하기 위해.

제안 방법

• 물체 인식 중 인간 복합시각경로의 여러 영역에서 신경 활동을 측정하기 위해 시간 해상도를 가진 기능적 자기공명영상(fMRI)을 사용하였다.
• 시각 자극으로부터 촉각적 활동 패턴을 예측하기 위해 피드포워드 및 순환 아키텍처를 포함한 딥 뉴럴 네트워크 모델을 훈련시켰다.
• 시간 및 뇌 영역 간의 신경 표현의 동적 변환을 추적하기 위해 표현 유사도 분석(RSA)을 적용하였다.
• 복합시각경로 영역 간의 방향성 정보 흐름을 추론하기 위해 그랑저 인과성 분석을 사용하였으며, 이는 상호 이중적 영향을 밝혀냈다.
• 피드포워드 및 순환 모델이 다중 영역 신경 동역학을 얼마나 잘 예측하는지 비교함으로써 모델 성능을 평가하였다.
• 시간이 지남에 따라 영역 간에 나타나고 퍼져나가는 신경 표현의 분류적 구분을 분석하였다.

실험 결과

연구 질문

• RQ1 물체 인식 중 인간 복합시각경로의 표현이 시간과 영역 간에 어떻게 동적으로 변환되는가?
• RQ2 복합시각경로 영역 간의 정보 흐름 방향성은 무엇인가—전방향, 후방향, 또는 이방향인가?
• RQ3 순환 신경망 모델이 관찰된 다중 영역 촉각 동역학을 포착하는 데서 피드포워드 모델보다 얼마나 뛰어나게 성능을 발휘하는가?
• RQ4 물체 표현의 분류적 차이가 복합시각경로 계층에서 언제 나타나고 퍼져나가는가?
• RQ5 인간 복합시각경로의 표현 동역학의 전체 복잡성을 모델링하기 위해 순환 연결이 필수적인가?

주요 결과

• 시각 처리 시작 후 300ms 이내에 복합시각경로 영역 내외에서 상당한 표현 변환이 발생한다.
• 신경 표현의 분류적 차이가 전방 및 후방 방향으로 영역을 거쳐 순차적으로 나타나는 캐스케이딩 시퀀스를 이룬다.
• 그랑저 인과성 분석을 통해 복합시각경로 영역 간에 유의미한 이중적 정보 흐름이 존재함을 확인하였으며, 이는 순수 전방향 모델의 관점에 도전한다.
• 순환 딥 뉴럴 네트워크 모델이 촉각 활동의 다중 영역 동역학을 포착하는 데서 피드포워드 모델보다 뚜렷이 뛰어나다.
• 결과적으로 순환 메커니즘이 인간 복합시각경로의 동적 계산을 정확히 모델링하기 위해 필요하다는 것이 입증되었다.
• 신경 표현은 비단순적이고 순환적인 방식으로 진화하며, 피드백 및 횡방향 상호작용이 물체 표현을 형성하는 데 핵심적인 역할을 한다.