[논문 리뷰] Beyond Geometry: Comparing the Temporal Structure of Computation in Neural Circuits with Dynamical Similarity Analysis

Mitchell Ostrow, Adam Eisen외 2명|arXiv (Cornell University)|2023. 06. 16.

Neural dynamics and brain function인용 수 8

한 줄 요약

논문은 Koopman 임베딩과 새로운 벡터장 Procrustes 지표를 이용해 동역학 수준에서 신경 시스템을 비교하는 데이터 기반 방법인 Dynamical Similarity Analysis (DSA)를 소개하며, 기하학적 유사성이 실패하는 곳에서 동역학적 동등성을 보인다.

ABSTRACT

How can we tell whether two neural networks utilize the same internal processes for a particular computation? This question is pertinent for multiple subfields of neuroscience and machine learning, including neuroAI, mechanistic interpretability, and brain-machine interfaces. Standard approaches for comparing neural networks focus on the spatial geometry of latent states. Yet in recurrent networks, computations are implemented at the level of dynamics, and two networks performing the same computation with equivalent dynamics need not exhibit the same geometry. To bridge this gap, we introduce a novel similarity metric that compares two systems at the level of their dynamics, called Dynamical Similarity Analysis (DSA). Our method incorporates two components: Using recent advances in data-driven dynamical systems theory, we learn a high-dimensional linear system that accurately captures core features of the original nonlinear dynamics. Next, we compare different systems passed through this embedding using a novel extension of Procrustes Analysis that accounts for how vector fields change under orthogonal transformation. In four case studies, we demonstrate that our method disentangles conjugate and non-conjugate recurrent neural networks (RNNs), while geometric methods fall short. We additionally show that our method can distinguish learning rules in an unsupervised manner. Our method opens the door to comparative analyses of the essential temporal structure of computation in neural circuits.

연구 동기 및 목표

• 기하학이 아니라 동역학 수준에서 신경 계산을 비교할 필요성을 제기한다.
• 시스템 간의 동역학적 유사성을 평가하는 일반적이고 데이터 기반의 메트릭(DSA)을 개발한다.
• 다양한 사례 연구에서 합동(위상적으로 동등한) 동역학을 비합동 동역학과 구별하는 DSA의 능력을 다층례로 입증한다.
• DSA가 무감독 방식으로 신경망의 학습 규칙 차이를 드러낼 수 있음을 보여준다.
• 신경과학 및 머신러닝에서 모델 검증과 해석을 위한 DSA의 활용을 촉진한다.

제안 방법

• 지연 임베딩(HAVOK)을 사용하여 비선형 동역학을 전역적으로 선형 표현으로 임베딩하여 고차원 선형 시스템을 얻는다.
• 각 시스템의 Koopman 임베딩에서 축약 계수 순위의 DMD 행렬 A_x, A_y를 추정한다.
• 벡터장에 대한 Procrustes 분석을 도입하여 직교 행렬 C에 대해 Frobenius 노름 ||A_x − C A_y C^{-1}||_F를 최소화하고 동역학적 유사성을 정량화한다.
• 정규화된 트레이스의 arccos를 이용한 각도 형태의 거리를 사용하여 벡터장에 대한 거리를 측정하는 지표를 얻는다.
• 지표의 성질을 증명하고 DSA를 합동성과 Koopman 고유스펙트럼과 관련지으며(특정 경우에는 2- Wasserstein 연결) 설명한다.
• 기하학과 동역학의 분리, 위상 불변성, 무감독 학습 규칙 분해를 보여주는 네 가지 사례 연구로 검증한다.

실험 결과

연구 질문

• RQ1 숨겨진 기하가 다른 두 신경망이 같은 근본 동역학(합동 시스템)을 구현할 수 있는가?
• RQ2 유사한 기하학적 궤적에도 불구하고 두 시스템이 서로 다른 동역학을 보일 수 있으며 그 반대의 경우도 가능한가?
• RQ3 동역학 시스템의 위상적 및 기하학적 변형에 대해 DSA는 어떻게 반응하는가?
• RQ4 DSA가 궤적 데이터에서 학습 규칙을 무감독 방식으로 분리해낼 수 있는가?
• RQ5 동역학적 유사성을 포착하는 데 있어 DSA와 Koopman 연산자 이론 간의 관계는 무엇인가?

주요 결과

• DSA는 기하학이 다른 그러나 동역학이 동등한 RNN 간의 동역학적 유사성을 식별하며, 기하학에 대한 Procrustes가 실패하는 곳에서도 작동한다.
• DSA는 무감독 분석에서 학습 규칙 차이를 구분하고 학습 규칙에 따라 네트워크를 클러스터링하며 합리적인 분류 정확도를 가능하게 한다.
• DSA는 끌어당김 토폴로지를 보존하는 매끄러운 기하학적 변형(링 어트랙터)을 불변으로 유지하지만 위상 변화(링 어트랙터 대 선 어트랙터)를 감지한다.
• DSA는 노이즈와 실험 구조가 있을 때 조건 평균 궤적이 비슷한 동역학 유형을 분리할 수 있다.
• 비선형 지연 임베딩과 HAVOK(DMD)가 dynamics를 올바르게 포착하는 데 필요하다는 확인으로, 순전히 시간적 또는 기하학적 분석을 넘어서 필요하다.
• DSA는 서로 다른 아키텍처/태스크 간의 학습 규칙을 분리하여 동역학적 전략의 무감독 추론을 가능하게 한다.