[논문 리뷰] Complexity without chaos: Plasticity within random recurrent networks generates robust timing and motor control

Rodrigo Laje, Dean V. Buonomano|arXiv (Cornell University)|2012. 10. 07.

Neural dynamics and brain function참고 문헌 9인용 수 244

한 줄 요약

이 논문은 무작위 피드백 신경망(RRN)에서 혼돈 동역학을 안정화하는 지도 학습 규칙을 제안하며, 이는 시간 인식과 운동 조절에 필수적인 복잡하고 강건한 시공간 패턴을 생성하는 데 기여한다. 유연성 도입으로 전역적 혼돈 없이 局소적 안정성 궤적을 달성하여 노이즈에 대한 저항력과 운동 패턴 생성 성능이 크게 향상되었으며, 실험적 신경 가변성 데이터와 일치한다.

ABSTRACT

It is widely accepted that the complex dynamics characteristic of recurrent neural circuits contributes in a fundamental manner to brain function. Progress has been slow in understanding and exploiting the computational power of recurrent dynamics for two main reasons: nonlinear recurrent networks often exhibit chaotic behavior and most known learning rules do not work in robust fashion in recurrent networks. Here we address both these problems by demonstrating how random recurrent networks (RRN) that initially exhibit chaotic dynamics can be tuned through a supervised learning rule to generate locally stable neural patterns of activity that are both complex and robust to noise. The outcome is a novel neural network regime that exhibits both transiently stable and chaotic trajectories. We further show that the recurrent learning rule dramatically increases the ability of RRNs to generate complex spatiotemporal motor patterns, and accounts for recent experimental data showing a decrease in neural variability in response to stimulus onset.

연구 동기 및 목표

• 재귀 신경망에서 발생하는 혼돈 동역학의 문제를 해결하여 안정적인 계산과 학습을 가능하게 하기 위해.
• 계산 복잡성을 유지하면서 혼돈 동역학을 가진 RRN을 안정화하는 학습 규칙을 개발하기 위해.
• RRN의 유연성이 복잡하고 노이즈에 강건한 시공간 패턴을 생성할 수 있음을 입증하기 위해.
• 이론적 신경 동역학 모델을 자극 후 신경 가변성이 감소하는 실험 데이터와 조율하기 위해.

제안 방법

• 초기적으로 혼돈 동역학을 보이는 무작위 피드백 신경망(RRN)을 무작위 시냅스 가중치로 초기화한다.
• 목표 출력 패턴에 기반해 시냅스 가중치를 조정하는 지도 학습 규칙을 적용하여 일시적인 궤적을 안정화시키되, 전체 복잡성을 유지한다.
• 학습 규칙은 특정 네트워크 상태에서 국소적 안정성을 촉진하도록 가중치를 수정한다.
• 아틀라라 지도, 궤적 안정성, 노이즈 저항성 지표를 사용해 네트워크의 동역학을 분석한다.
• 시계열 활동과 패턴 생성을 시뮬레이션하여 시간 인식 및 운동 조절 과제에서의 성능을 평가한다.
• 실험적 신경 가변성 데이터와 시뮬레이션된 네트워크 반응을 비교하여 모델을 검증한다.

실험 결과

연구 질문

• RQ1 무작위 피드백 신경망의 혼돈 동역학은 학습 규칙을 통해 안정화될 수 있으며, 이 과정에서 계산 복잡성이 유지되는가?
• RQ2 RRN의 유연성이 노이즈에 대한 신경 활동 패턴의 강건성에 어떤 영향을 미치는가?
• RQ3 유연한 RRN이 생물학적 시스템과 유사한 복잡한 시공간 운동 패턴을 얼마나 잘 생성할 수 있는가?
• RQ4 이 모델은 자극 후 신경 가변성이 감소하는 것으로 관측된 실험적 현상을 설명할 수 있는가?

주요 결과

• 학습 규칙은 혼돈 동역학을 안정화하여 국소적 안정 궤적을 생성하면서도 복잡한 동역학을 유지한다.
• 안정화된 네트워크는 노이즈에 매우 강건하여 외부 자극에도 패턴의 정확성을 유지한다.
• 유연한 RRN은 복잡하고 시간적으로 정밀한 시공간 운동 패턴 생성에서 비유연한 네트워크보다 뛰어난 성능을 보인다.
• 모델은 자극 후 신경 가변성이 감소하는 것으로 관측된 실험적 현상을 재현하며, 생체 내 데이터와 일치한다.
• 네트워크 동역학은 안정 궤적과 혼돈 궤적이 공존하는 영역으로 전이되어 정밀성과 유연성을 동시에 확보한다.