[논문 리뷰] Dimension of activity in random neural networks

David G. Clark, L. F. Abbott외 1명|PubMed|2022. 07. 25.

Neural Networks and Applications인용 수 8

한 줄 요약

이 논문은 쿨드 디스오더가 있는 무작위 신경망에서의 교차공분산을 계산하기 위해 이중위치 캐비티 동역학적 평균장 이론(DMFT)을 개발한다. 이는 집단적 활동이 광범위하지만 분수적으로 낮은 차원의 부분공간에 존재하며, 장시간스케일을 가진다는 것을 드러낸다. 이 방법은 일반적인 단일단위 동역학에 적용 가능하며, 부분 대칭 연결과 같은 i.i.d.가 아닌 결합을 포괄한다.

ABSTRACT

Neural networks are high-dimensional nonlinear dynamical systems that process information through the coordinated activity of many connected units. Understanding how biological and machine-learning networks function and learn requires knowledge of the structure of this coordinated activity, information contained, for example, in cross covariances between units. Self-consistent dynamical mean field theory (DMFT) has elucidated several features of random neural networks-in particular, that they can generate chaotic activity-however, a calculation of cross covariances using this approach has not been provided. Here, we calculate cross covariances self-consistently via a two-site cavity DMFT. We use this theory to probe spatiotemporal features of activity coordination in a classic random-network model with independent and identically distributed (i.i.d.) couplings, showing an extensive but fractionally low effective dimension of activity and a long population-level timescale. Our formulas apply to a wide range of single-unit dynamics and generalize to non-i.i.d. couplings. As an example of the latter, we analyze the case of partially symmetric couplings.

연구 동기 및 목표

• 집단적 활동의 구조를 이해하는 데 필수적인 고차원 무작위 신경망에서의 교차공분산을 계산하기 위해 표준 단일위치 DMFT에서 누락된 사항을 보완하는 것.
• 반복적 무작위 네트워크에서 활동의 효과적 차원과 인구 수준의 시간스케일을 계산하기 위한 자기일관적 프레임워크를 개발하는 것.
• 학습 유도 구조적 변화를 모델링하기 위해 i.i.d.가 아닌 결합, 예를 들어 부분 대칭 연결과 같은 DMFT를 일반화하는 것.
• 생물학적 및 인공 신경망 시스템 모두에 관련된 혼돈 무작위 네트워크에서 낮은 차원의 집단 모드가 어떻게 나타나는지 이론적 기반을 제공하는 것.

제안 방법

• 쌍으로 연결된 단위를 섭동적으로 다루어 연관 통계와 교차공분산을 계산하기 위해 캐비티 방법에 기반한 이중위치 캐비티 DMFT를 수립한다.
• 푸리에 변환과 리졸베이트 기법을 사용하여 활동 및 프리액티브이션의 두 점 상관함수에 대한 자기일관성 있는 방정식 세트를 유도한다.
• 특히 주파수 공간에서 반대대각선을 따라 발생하는 역푸리에 변환의 발산을 다루기 위해 결합 강도에 대한 섭동 전개를 도입한다.
• i.i.d. 가우시안 결합 $ J_{ij} \sim \mathcal{N}(0, g^2/N) $을 가진 Sompolinsky 등(1988)의 모델에 이 이론을 적용하여 효과적 차원과 시간스케일을 계산할 수 있도록 한다.
• 자기결합 항 $ \rho \to \rho \neq 0 $를 포함시켜 비i.i.d. 결합에 이 те오리의 일반화를 시도하며, 부분 대칭 연결을 모델링한다.
• Furutsu-Novikov 정리를 사용하여 단일위치 DMFT 방정식을 수치적으로 해결하고 $ S^\theta(\tau) $를 계산함으로써, 상관관계의 자기일관적 평가를 가능하게 한다.

실험 결과

연구 질문

• RQ1 i.i.d. 결합을 가진 무작위 반복 신경망에서 집단적 활동의 효과적 차원은 무엇이며, 네트워크 크기와 어떻게 스케일링되는가?
• RQ2 집단 모드의 인구 수준의 시간스케일은 무엇이며, 개별 단위의 시간스케일과 비교해 보면 어떻게 되는가?
• RQ3 결합이 더 이상 i.i.d.가 아니게 되면, 예를 들어 부분 대칭 네트워크에서 교차공분산과 집단 역학은 어떻게 변화하는가?
• RQ4 두 개의 위치를 가진 캐비티 DMFT 프레임워크는 쿨드 디스오더가 있는 고차원 비선형 동역학계에서 집단적 활동의 구조를 정확하게 포착할 수 있는가?

주요 결과

• i.i.d. 무작위 네트워크에서 활동의 효과적 차원은 광범위하게 증가하지만 분수적으로 낮다. 이는 집단 역학이 전체 네트워크 차원에 비해 작은 부분공간에 국한되어 있음을 시사한다.
• 집단 모드의 인구 수준의 시간스케일은 개별 단위의 시간스케일보다 현저히 길며, 비율이 $ \nu \to 1 $에 수렴함에 따라 발산한다. 이는 느린 집단 역학을 나타낸다.
• 이론은 교차공분산의 역변환에서 $ \frac{1}{\nu} $ 발산을 예측하며, 주파수 공간에서 두께 $ \tilde{\text{O}}(\nu) $인 리지 구조를 통해 해석 가능하다. 이는 시간 영역 상관관계에서 $ \tilde{\text{O}}(1/\nu) $ 발산으로 이어진다.
• g \to \infty 일 때, 효과적 차원 $ \text{PR}^\theta $는 유한한 값으로趋음하며, 수치 시뮬레이션과 뉴턴 운동 한계에서 알려진 결과와 일치한다.
• 이론은 부분 대칭 결합($ \rho > 0 $)의 영향을 정확히 포착하며, $ \text{PR}^\theta $와 $ \rho^\theta(\tau, \tau) $에 대한 DMFT 예측은 $ \rho = 0.6 $까지 시뮬레이션과 일치한다. 고 $ \rho $에서의 수치적 도전에도 불구하고 성능이 유지된다.
• 교차공분산 $ \rho^\theta(\bm{\tau}) $는 주파수 공간에서 $ \bm{\tau}_+ $ 방향으로 발산하는 리지가 나타나며, 이는 $ \tau_+ \to \nu \tau_+ $로 재스케일링을 통해 해결된다. 이로 인해 시간 도메인에서 $ \tilde{\text{O}}(1/\nu) $ 발산이 발생한다.