[논문 리뷰] Comparison Against Task Driven Artificial Neural Networks Reveals Functional Properties in Mouse Visual Cortex

Jianghong Shi, Eric Shea‐Brown외 1명|arXiv (Cornell University)|2019. 11. 18.

Neural dynamics and brain function인용 수 14

한 줄 요약

이 연구는 앨런 뇌 관측소에서 확보한 데이터를 바탕으로 인공신경망과 쥐 시각皮질 간의 표현 비교 지표의 강건성을 평가한다. 이 지표들은 뉴런과 자극의 샘플 수가 제한된 상황에서도 신뢰성 있게 유지됨을 발견하였으며, 특히 V1을 포함한 시각皮질 영역이 합성곱 신경망의 더 깊은 층과 유사한 고차원의 병렬 변환을 수행하고 있음을 시사한다.

ABSTRACT

Partially inspired by features of computation in visual cortex, deep neural networks compute hierarchical representations of their inputs. While these networks have been highly successful in machine learning, it is still unclear to what extent they can aid our understanding of cortical function. Several groups have developed metrics that provide a quantitative comparison between representations computed by networks and representations measured in cortex. At the same time, neuroscience is well into an unprecedented phase of large-scale data collection, as evidenced by projects such as the Allen Brain Observatory. Despite the magnitude of these efforts, in a given experiment only a fraction of units are recorded, limiting the information available about the cortical representation. Moreover, only a finite number of stimuli can be shown to an animal over the course of a realistic experiment. These limitations raise the question of how and whether metrics that compare representations of deep networks are meaningful on these data sets. Here, we empirically quantify the capabilities and limitations of these metrics due to limited image and neuron sample spaces. We find that the comparison procedure is robust to different choices of stimuli set and the level of sub-sampling that one might expect in a large scale brain survey with thousands of neurons. Using these results, we compare the representations measured in the Allen Brain Observatory in response to natural image presentations. We show that the visual cortical areas are relatively high order representations (in that they map to deeper layers of convolutional neural networks). Furthermore, we see evidence of a broad, more parallel organization rather than a sequential hierarchy, with the primary area VisP (V1) being lower order relative to the other areas.

연구 동기 및 목표

• 실제 실험 조건을 반영한 제약 하에서 인공신경망과 피질 데이터 간의 표현 비교 지표의 신뢰성 평가.
• 뉴런과 자극 집합의 부분 샘플링이 대규모 뇌 조사에서 이러한 지표의 타당성에 미치는 영향 탐구.
• 앨런 뇌 관측소의 실제 데이터를 바탕으로 피질 표현과 딥 신경망 특징 간 비교를 위해 이러한 강건한 지표 적용.
• 쥐 시각 피질 영역의 계층적 조직이 인공 네트워크 레이어와 어떻게 관련되어 있는지 규명.
• 피질 표현이 딥 네트워크에서의 순차적 계층 구조보다는 병렬적이고 분산된 처리에 더 가까운가 평가.

제안 방법

• 다양한 자극 집합과 뉴런 부분 샘플링 수준에서 표현 비교 지표(예: 선형 디코더, 표현 유사도 분석)의 실험적 검증.
• 계층적 시각 처리를 모델링하기 위해 딥 컨volution 신경망(CNN)을 사용.
• 자연 이미지 자극에 대한 반응에 초점을 맞춰 앨런 뇌 관측소의 생체 내 기록에 이러한 지표 적용.
• 표현 유사도와 디코딩 성능 기반으로 피질 영역을 CNN의 해당 레이어에 매핑.
• 기록된 뉴런 수와 제시된 자극의 다양성을 변화시켜 강건성 평가.
• 신경 및 네트워크 표현에서 자극 정체성을 디코딩하기 위해 선형 분류기 사용, 정량적 비교 가능하게 함.

실험 결과

연구 질문

• RQ1 뉴런과 자극 샘플링이 제한된 상황에서 인공신경망과 피질 데이터 간의 표현 비교 지표는 얼마나 강건한가?
• RQ2 쥐 시각 피질 영역 중 표현 유사도 측면에서 딥 CNN의 어느 레이어에 가장 가까이 매핑되는가?
• RQ3 시각 피질 처리의 조직은 엄격한 계층적 순서인지, 더 병렬적이고 분산된 아키텍처인지?
• RQ4 주요 시각 영역(VisP/V1)은 피질 계층에서 다른 시각 영역에 비해 기능적으로 저차원인가?
• RQ5 데이터가 불완전한 상황에서도 표현 비교 지표가 피질 영역의 기능적 특성을 신뢰성 있게 드러낼 수 있는가?

주요 결과

• 표현 비교 지표는 뉴런과 자극의 일부만 확보된 경우에도 강건하게 유지되어, 대규모 뇌 조사에의 적용을 뒷받침한다.
• 특히 V1을 포함한 시각 피질 영역은 합성곱 신경망의 더 깊은 레이어에 매핑되며, 이는 고차원 표현을 계산하고 있음을 시사한다.
• 데이터는 엄격한 순차적 계층 구조보다는 넓은 병렬적 조직을 반영하고 있음을 시사한다.
• VisP(V1)는 다른 시각 영역에 비해 기능적으로 저차원적임이 확인되었으며, 이는 시각 처리의 초기 피질 단계로서의 역할과 일치한다.
• 데이터 제한 상황에서도 이러한 비교 프레임워크는 피질 영역과 인공 네트워크 레이어 간의 기능적 유사성을 성공적으로 규명하였다.
• 결과는 딥 신경망이 시각 시스템의 피질 계산을 이해하는 데 기능적 모델로 사용될 수 있음을 지지한다.