[논문 리뷰] Universality and individuality in neural dynamics across large populations of recurrent networks

Niru Maheswaranathan, Alex H. Williams외 3명|PubMed|2019. 07. 19.

Functional Brain Connectivity Studies참고 문헌 55인용 수 39

한 줄 요약

논문은 RNN 다이내믹스가 아키텍처에 따라 어떻게 달라지는지 조사하며, 표현 기하가 아키텍처에 의존적이고 고정점의 위상/선형화된 다이내믹스의 토폴로지가 같은 작업을 해결하는 모델들 간에 더 강한 보편성을 보인다고 제시한다.

ABSTRACT

Task-based modeling with recurrent neural networks (RNNs) has emerged as a popular way to infer the computational function of different brain regions. These models are quantitatively assessed by comparing the low-dimensional neural representations of the model with the brain, for example using canonical correlation analysis (CCA). However, the nature of the detailed neurobiological inferences one can draw from such efforts remains elusive. For example, to what extent does training neural networks to solve common tasks uniquely determine the network dynamics, independent of modeling architectural choices? Or alternatively, are the learned dynamics highly sensitive to different model choices? Knowing the answer to these questions has strong implications for whether and how we should use task-based RNN modeling to understand brain dynamics. To address these foundational questions, we study populations of thousands of networks, with commonly used RNN architectures, trained to solve neuroscientifically motivated tasks and characterize their nonlinear dynamics. We find the geometry of the RNN representations can be highly sensitive to different network architectures, yielding a cautionary tale for measures of similarity that rely on representational geometry, such as CCA. Moreover, we find that while the geometry of neural dynamics can vary greatly across architectures, the underlying computational scaffold-the topological structure of fixed points, transitions between them, limit cycles, and linearized dynamics-often appears universal across all architectures.

연구 동기 및 목표

• 다양한 아키텍처에 걸친 과제 기반 RNN 모델링이 뇌 역학과 어떻게 연결되는지 동기를 부여한다.
• 신경과학에서 영감을 받은 과제를 해결하는 RNN 아키텍처들 간에 표현 기하학과 다이내믹스 토폴로지가 어떻게 다른지 정량화한다.
• 어떤 다이내믹 특성이 보편적이고 어떤 것이 아키텍처 특이적인지 확인한다.
• 단순한 표현 유사도 지표를 넘어 RNN 다이내믹스를 비교하는 방법을 제시한다.

제안 방법

• relu 또는 tanh 활성화, 다양한 크기 및 정규화를 적용하고 네 가지 아키텍처(Vanilla, UGRNN, GRU, LSTM) 전반에 걸쳐 수천 개의 RNN을 학습한다.
• 뉴로사이언스에서 영감을 받은 과제(3-bit memory, sine wave generation, context-dependent integration)를 사용해 다양한 다이내믹스를 이끌어낸다.
• SVCCA와 CKA로 표현 유사도를 평가하고, 네트워크 표현의 기하에 초점을 맞춘다.
• 고정점, 안정성 및 고정점 주위의 선형화된 다이내믹스를 통해 다이내믹스를 분석한다.
• 전이 확률로부터 고정점 그래프를 구성해 계산의 토폴로지를 정량화한다.
• SVCCA 또는 고정점 토폴로지 기반의 네트워크 간 차이를 시각화하기 위해 다차원 스케일링(MDS)을 사용한다.

실험 결과

연구 질문

• RQ1 동일한 과제를 해결할 때 RNN 아키텍처와 활성화 함수에 따라 신경 표현의 기하가 어떻게 달라지는가?
• RQ2 동일한 과제를 해결하는 아키텍처들 간에 고정점, 극한순환, 선형화된 다이내믹스와 같은 보편적 다이내믹 구조가 있는가?
• RQ3 다른 아키텍처나 활성화가 있는 학습된 네트워크들 간에 표현 기하와 기능적 유사성이 일치하는가?
• RQ4 고정점 토폴로지는 아키텍처 간에 보편적 계산 설명을 얼마나 제공하는가?
• RQ5 아키텍처 간 비교 시 SVCCA/CKA 같은 표현 유사도 지표를 사용할 때의 주의점은 무엇인가?

주요 결과

• 표현 기하학은 아키텍처와 활성화 함수에 매우 민감하다.
• 고정점 토폴로지와 고정점 주위의 선형화된 다이내믹스는 아키텍처 간에 더 큰 보편성을 보인다.
• 같은 비선형성의 학습된 네트워크와 비학습 네트워크가 서로 더 유사할 수 있어 SVCCA/CKA의 한계를 보여준다.
• 과제 전반에 걸쳐 대부분의 아키텍처가 고정점과 선형 인접한 끌기(line attractors) 측면에서 질적으로 유사한 다이내믹 솔루션으로 수렴한다.
• 게이트된 아키텍처는 적분에 사용되는 선형 모드의 차원에서 차이를 보이며, 보편적 프레임워크 내에서 아키텍처 특이적 전략이 있음을 시사한다.
• 토폴로지 분석(고정점 그래프)은 기하 기반 지표보다 아키텍처 간의 일관성을 더 잘 보여준다.