[논문 리뷰] Self-organized criticality in neural networks

M. I. Katsnelson, Vitaly Vanchurin외 1명|arXiv (Cornell University)|2021. 07. 07.

Neural Networks and Applications참고 문헌 17인용 수 9

한 줄 요약

이 논문은 신경망의 학습 동역학이 분석적이고 수치적으로 자율적으로 임계 상태로 이끌어내며, 학습 가능한 파rameter에서 척도 불변의 변동성을 특징으로 하는 것을 보여준다. 이 메커니즘은 빠르게 확률적으로 평형을 이룩하는 비학습 가능한 변수(예: 뉴런 상태)와 학습에 의해 느리게 변화하는 학습 가능한 변수(예: 가중치) 사이의 경쟁적 동역학에서 기인하며, 확률 분포의 소프트 모드를 통해 중간 척도에서 임계성을 유도한다.

ABSTRACT

We demonstrate, both analytically and numerically, that learning dynamics of neural networks is generically attracted towards a self-organized critical state. The effect can be modeled with quartic interactions between non-trainable variables (e.g. states of neurons) and trainable variables (e.g. weight matrix). Non-trainable variables are rapidly driven towards stochastic equilibrium and trainable variables are slowly driven towards learning equilibrium described by a scale-invariant distribution on a wide range of scales. Our results suggest that the scale invariance observed in many physical and biological systems might be due to some kind of learning dynamics and support the claim that the universe might be a neural network.

연구 동기 및 목표

• 신경망의 학습 동역학이 자율 임계 상태로 이끌 수 있는지 조사하기.
• 신경망의 학습 가능한 변수가 척도 불변의 분포로 수렴하는 메커니즘을 규명하기.
• 학습 동역학과 물리적·생물학적 시스템에서 관찰되는 임계성의 발생 간의 연결 고리를 설정하기.
• 이 임계 상태가 신경망의 효율성, 압축, 기본 물리학에 미치는 함의를 탐색하기.

제안 방법

• 비학습 가능한(빠르게 평형을 이룩하는) 변수와 학습 가능한(학습에 의해 천천히 변화하는) 변수를 가진 통계역학 프레임워크로 학습 시스템을 모델링하기.
• 비학습 가능한 변수와 학습 가능한 변수 사이의 4차 상호작용을 포함하는 손실 함수를 설정하여 엔트로피 최대화와 최소화 간의 괴리(불안정성)를 가능하게 하기.
• 최대 엔트로피 원리를 적용하여 조건부 분포 p(x|q)와 학습 가능한 변수 q에 대한 효과적 자유 에너지 F(β,q)를 유도하기.
• 국소 평형 근처의 펌프테이션 전개를 사용하여 척도 불변의 변동성을 담당하는 소프트 모드를 식별하기.
• 피드포워드 신경망에서 수치 시뮬레이션을 수행하여 가중치 분포의 변화와 가중치 갱신의 파wer 스펙트럼을 추적하기.
• 가중치 동역학의 파워 스펙트럼 P(f)를 분석하여 장시간 척도에서 1/f^a 형태의 행동을 탐지함으로써 임계성을 확인하기.

실험 결과

연구 질문

• RQ1 신경망의 학습 동역학이 학습 가능한 파rameter에서 척도 불변의 변동성을 보이는 자율 임계 상태로 이끌 수 있는가?
• RQ2 학습 과정에서 네트워크 가중치의 분포에서 척도 불변성을 유도하는 근본적 메커니즘은 무엇인가?
• RQ3 뉴런 상태의 빠른 확률적 동역학과 가중치의 느린 학습 동역학 간의 경쟁이 어떻게 임계성을 유도하는가?
• RQ4 변동의 척도 불변 범위가 개별 가중치의 중요성 또는 학습 품질과 어느 정도 상관이 있는가?
• RQ5 이 프레임워크는 물리적·생물학적 시스템에서 널리 관찰되는 자율 임계 상태의 보편성을 설명할 수 있는가?

주요 결과

• 신경망의 학습 동역학은 학습 가능한 변수가 다양한 척도에서 척도 불변의 분포로 수렴하게 하며, 이는 자율 임계 상태를 시사한다.
• 중간 척도에서 시스템은 확률 분포의 소프트 모드를 보이며, 이는 척도 불변의 변동성을 담당한다.
• 장시간 척도에서 가중치 갱신의 파워 스펙트럼은 P(f) ∝ 1/f^a 형태이며 a < 2를 만족하여, 백색 잡음(1/f^2)과는 다를 바 있는 임계 동역학을 나타낸다.
• 단시간 척도에서 시스템은 상호관계가 없는 점프를 보이며, 이는 P(f) ∝ 1/f^2와 일치한다.
• 학습 가능한 변수의 변동성의 진폭은 척도 불변 범위의 폭과 반비례하므로, 덜 중요한 연결 고리를 식별하는 정량적 기준이 될 수 있다.
• 결과는 우주 자체가 학습 진동을 겪는 신경망일 수 있으며, 물리 법칙이 이러한 임계 동역학에서 유도된다는 가설을 지지한다.