[논문 리뷰] Thalamocortical motor circuit insights for more robust hierarchical control of complex sequences

Laureline Logiaco, G. Sean Escola|arXiv (Cornell University)|2020. 06. 23.

Neural dynamics and brain function참고 문헌 24인용 수 4

한 줄 요약

이 논문은 생물학적으로 영감을 얻은 측편피질-皮질 반복 신경망 아키텍처를 제안하여, 기저성 잊히지 않는 학습과 치명적인 잊음 없이 원활한 순서화를 가능하게 한다. 분석적으로 다루기 쉬운 전이 동역학과 모티프 특화 제어 모듈을 통합함으로써, 모델은 완벽한 전이 안정성을 달성한다—시퀀스 생성에서 실패가 전혀 없으며, 동시에 높은 모티프 내 정확도를 유지한다. 이는 표준 경사하강법으로 학습된 RNN보다 순서화의 유연성과 일반화 능력에서 뛰어나다.

ABSTRACT

We study learning of recurrent neural networks that produce temporal sequences consisting of the concatenation of re-usable "motifs". In the context of neuroscience or robotics, these motifs would be the motor primitives from which complex behavior is generated. Given a known set of motifs, can a new motif be learned without affecting the performance of the known set and then used in new sequences without first explicitly learning every possible transition? Two requirements enable this: (i) parameter updates while learning a new motif do not interfere with the parameters used for the previously acquired ones; and (ii) a new motif can be robustly generated when starting from the network state reached at the end of any of the other motifs, even if that state was not present during training. We meet the first requirement by investigating artificial neural networks (ANNs) with specific architectures, and attempt to meet the second by training them to generate motifs from random initial states. We find that learning of single motifs succeeds but that sequence generation is not robust: transition failures are observed. We then compare these results with a model whose architecture and analytically-tractable dynamics are inspired by the motor thalamocortical circuit, and that includes a specific module used to implement motif transitions. The synaptic weights of this model can be adjusted without requiring stochastic gradient descent (SGD) on the simulated network outputs, and we have asymptotic guarantees that transitions will not fail. Indeed, in simulations, we achieve single-motif accuracy on par with the previously studied ANNs and have improved sequencing robustness with no transition failures. Finally, we show that insights obtained by studying the transition subnetwork of this model can also improve the robustness of transitioning in the traditional ANNs previously studied.

연구 동기 및 목표

• 재사용 가능한 운동 모티프의 순차적 학습 동안 순환 신경망에서 치명적인 잊음 문제를 해결하기 위해.
• 모든 가능한 전이를 사전 학습하지 않고도 강건하고 융통성 있게 학습된 모티프를 순서화하기 위해.
• 전이 안정성과 성능에 대한 분석적 보장을 갖춘 모델을 개발하기 위해.
• 운동 측편피질-피질 회로의 통찰을 바탕으로 심층 학습의 계층적 제어에서의 강건성을 향상시키기 위해.
• 생물학적으로 영감을 얻은 아키텍처가 표준 경사하강법으로 학습된 RNN보다 분포 외 일반화 성능에서 우수함을 입증하기 위해.

제안 방법

• 모티프 특화 파rameter와 공유된 순환 및 출력 구성 요소를 분리하는 모듈러 아키텍처를 갖춘 순환 신경망(RNN)을 설계하기 위해.
• 분석적으로 다루기 쉬운 동역학을 사용하는 전이 하위망을 포함한 측편피질-피질 유사 아키텍처를 구현하기 위해.
• 학습된 가중치 $\mathbf{U}_{\textrm{prep}}\mathbf{V}_{\textrm{prep}}^{\intercal}$를 갖는 준비 상태 루프를 사용하여, $10\tau$ 이내에 네트워크 상태를 0으로 신속하게 재설정하기 위해.
• 잔류 활성도 $\sum_t |\mathbf{r}(t)|^2$ 를 최소화하는 비용 함수를 사용하여 모티프 특화 파rameter $\mathbf{b}_{\mu}$ 와 $\mathbf{u}_{\mu}\mathbf{v}_{\mu}^{\intercal}$ 를 학습하기 위해.
• 비경사, 분석적 가중치 업데이트를 전이 모듈에 적용하여 점근적 안정성과 전이 실패 없음을 보장하기 위해.
• 생물학적으로 영감을 얻은 모델의 통찰을 바탕으로, 유사한 전이 모듈을 통합함으로써 표준 경사하강법으로 학습된 RNN의 강건성을 향상시키기 위해.

실험 결과

연구 질문

• RQ1 순환 네트워크는 이전에 학습된 것들과 간섭 없이 새로운 운동 모티프를 학습할 수 있는가? 이는 0-샷 순서화 즉흥 연주를 가능하게 하는가?
• RQ2 학습 중에 관측되지 않은 상태일지라도, 이전 모티프의 임의의 종료 상태에서 시작해도 네트워크가 모티프의 시퀀스를 강건하게 생성할 수 있는가?
• RQ3 생물학적으로 영감을 얻은 측편피질-피질 아키텍처는 전이 안정성에 대한 분석적 보장을 제공하고 치명적인 잊음을 제거할 수 있는가?
• RQ4 측편피질 모델에서 도출된 통찰은 표준 경사하강법으로 학습된 RNN의 순서화 강건성에 어느 정도 기여할 수 있는가?
• RQ5 RNN에서 모듈러이고 분석적으로 다루기 쉬운 동역학은 계층적 시퀀스 생성 작업에서 표준 심층 학습 방법보다 뛰어난 성능을 낼 수 있는가?

주요 결과

• 측편피질-유사 모델은 완벽한 전이 안정성을 달성하여, 이전에 학습된 모티프의 임의의 종료 상태에서 시작하더라도 시퀀스 생성에서 실패 사례가 전혀 없었다.
• 모델은 표준 경사하강법으로 학습된 RNN과 유사한 모티프 내 정확도를 유지하여, 생물학적 타당성이 표현 능력을 손상시키지 않음을 입증했다.
• 전이 모듈에서 분석적으로 다루기 쉬운 동역학과 비경사 가중치 업데이트를 사용함으로써 점근적 안정성이 보장되었고, 치명적인 잊음은 완전히 제거되었다.
• 학습된 $\mathbf{U}_{\textrm{prep}}\mathbf{V}_{\textrm{prep}}^{\intercal}$ 가중치를 갖는 준비 상태 루프를 도입함으로써, $10\tau$ 이내에 상태를 0으로 빠르게 재설정할 수 있었고, 이는 깔끔한 모티프 전이를 가능하게 하였다.
• 표준 RNN에 생물학적으로 영감을 얻은 전이 모듈을 추가함으로써, 생물학적 모델의 통찰을 응용함으로써 그들의 순서화 강건성이 크게 향상되었고 전이 실패가 제거되었다.
• 결과적으로, 신경과학에서 영감을 얻은 아키텍처적 및 동역학적 제약 조건이 표준 확률적 경사하강법으로는 달성할 수 없는 성능 보장과 강건성을 제공할 수 있음을 입증하였다.