[논문 리뷰] How connectivity structure shapes rich and lazy learning in neural circuits

Yuhan Helena Liu, Aristide Baratin외 4명|arXiv (Cornell University)|2023. 10. 12.

Neural Networks and ApplicationsComputer Science인용 수 3

한 줄 요약

이 논문은 초기 연결성 구조—특히 가중치 행렬의 유효 랭크—가 신경 회로에서 학습 동역학에 어떻게 영향을 미치는지 조사한다. 생물학적으로 유사한 연결성을 가진 순환 네트워크에서 이론적 분석과 실험을 통해 고랭크 초기화는 일반적으로 더 빈약한 학습(최소한의 네트워크 변화)을 유도하는 반면, 저랭크 초기화는 더 풍부한 학습을 촉진함을 보여주지만, 과제 통계와의 일치는 저랭크 설정에서도 빈약한 학습을 유도할 수 있음을 밝혀낸다.

ABSTRACT

In theoretical neuroscience, recent work leverages deep learning tools to explore how some network attributes critically influence its learning dynamics. Notably, initial weight distributions with small (resp. large) variance may yield a rich (resp. lazy) regime, where significant (resp. minor) changes to network states and representation are observed over the course of learning. However, in biology, neural circuit connectivity could exhibit a low-rank structure and therefore differs markedly from the random initializations generally used for these studies. As such, here we investigate how the structure of the initial weights -- in particular their effective rank -- influences the network learning regime. Through both empirical and theoretical analyses, we discover that high-rank initializations typically yield smaller network changes indicative of lazier learning, a finding we also confirm with experimentally-driven initial connectivity in recurrent neural networks. Conversely, low-rank initialization biases learning towards richer learning. Importantly, however, as an exception to this rule, we find lazier learning can still occur with a low-rank initialization that aligns with task and data statistics. Our research highlights the pivotal role of initial weight structures in shaping learning regimes, with implications for metabolic costs of plasticity and risks of catastrophic forgetting.

연구 동기 및 목표

• 초기 가중치 행렬의 유효 랭크가 신경망에서 학습 제도에 어떻게 영향을 미치는지 이해하는 것.
• 일반적으로 무작위, i.i.d. 초기화를 가정하는 이론적 딥러닝 연구와 생물학적 신경 회로에서 관찰되는 저랭크 연결성 간 격차를 메우는 것.
• 저랭크 초기화가 여전히 효과적으로 빈약한 학습을 유도할 수 있는지, 그리고 어떤 조건에서 가능한지 조사하는 것.
• 신경과학 관련 과제에서 실험적으로 유도된 연결성 패턴을 사용해 순환 신경망을 훈련시켜 이론적 결과를 검증하는 것.

제안 방법

• 이론적 분석을 통해 이중층 피드포워드 선형 네트워크에서 초기 가중치 랭크가 학습 동역학에 미치는 영향을 유도하는 것.
• 학습 후 정의되는 NTK 이동을 효과적 학습의 풍부함/빈약함을 측정하는 지표로 사용하는 것, 사전에 정의하지는 않음.
• 전자현미경(EM) 재구성 등 실험적으로 유도된 연결성 패턴을 사용한 2AFC, DMS, CXT 과제에서 수행된 순환 신경망(RNN)에 대한 수치 실험.
• 특정 단계에서 특이값 분해(SVD)를 통해 '강성'과 '유연성' 있는 저랭크 초기화를 만드는 시스템적 접근.
• 실험적으로 유도된 연결성 행렬을 무작위로 재배치하여, 저랭크 구조—즉, 희박성 또는 네트워크 위상이 아닌—관측된 효과의 원인을 테스트하는 것.
• 가우시안, 균일, 소프트-랭크, 하드-랭크 초기화 및 학습률, 이득, 네트워크 크기 등의 하이퍼파라미터 간 학습 동역학을 비교하는 것.

실험 결과

연구 질문

• RQ1 초기 가중치 행렬의 유효 랭크가 NTK 이동으로 측정된 학습 중 네트워크 적응 정도에 어떻게 영향을 미치는가?
• RQ2 초기 가중치가 생물학적 연결성 패턴에 따라 구조화되어 있을 때, 고랭크 초기화와 빈약한 학습 간 기존의 연관성이 유지되는가?
• RQ3 초기 가중치가 과제 및 데이터 통계와 일치할 경우, 저랭크 초기화가 여전히 효과적으로 빈약한 학습을 유도할 수 있는가?
• RQ4 연결성 랭크와 학습 제도 간의 관계가 다양한 네트워크 아키텍처, 초기화 분포 및 하이퍼파라미터에 대해 얼마나 강인한가?

주요 결과

• 고랭크 초기화는 이론적 분석과 RNN 실험 모두에서 훈련 중 NTK 이동이 현저히 작아지는 것으로 나타나, 효과적으로 더 빈약한 학습을 유도함을 보여줌.
• 저랭크 초기화는 2AF, DMS, CXT 등의 다양한 신경과학 과제에서 일반적으로 더 큰 NTK 이동을 유도함으로써 효과적으로 더 풍부한 학습을 나타냄.
• 초기 가중치가 과제 통계와 일치할 경우(예: 데이터 공분산의 특정 투영을 통해), 저랭크 초기화라도 효과적으로 빈약한 학습을 유도할 수 있음.
• 저랭크 구조가 학습 제도에 미치는 영향은 희박성 또는 네트워크 위상 때문만은 아니며, EM 유도 연결성의 무작위 재배치는 이 추세를 파괴함으로써 이를 입증함.
• 핵심 추세인 고랭크 → 더 큰 빈약함은 가우시안, 균일 초기화, 학습률, 이득, 네트워크 크기 등 다양한 조건에서 유지됨.
• 이중층 선형 네트워크에서 고랭크 초기화가 더 큰 탄성 커널 일치를 유도한다는 이론적 예측이 실험적으로 확인됨.