[논문 리뷰] Symphony from Synapses: Neocortex as a Universal Dynamical Systems Modeller using Hierarchical Temporal Memory

Fergal Byrne|arXiv (Cornell University)|2015. 12. 16.

Neural dynamics and brain function참고 문헌 28인용 수 3

한 줄 요약

이 논문은 고유한 시간 기억(Hierarchical Temporal Memory, HTM)을 활용하여 고유의 상호작용하는 동적 시스템을 통해 외부 및 내부 환경의 역학을 자율적으로 계산하고 표현함으로써, 신경피질이 일반 동적 시스템 모델러로 기능할 수 있음을 제안한다. 하폰스의 HTM를 모든 6개의皮질층에 걸쳐 시간 역학을 모델링하도록 확장함으로써, 신호 기반의 추론과 예측 이상 현상에 의해 내재된 동적 시스템 모델링이 가능해지며, 백프로파게이션 기반의 딥러닝에 대한 생물학적으로 타당한 대안을 제공한다.

ABSTRACT

Reverse engineering the brain is proving difficult, perhaps impossible. While many believe that this is just a matter of time and effort, a different approach might help. Here, we describe a very simple idea which explains the power of the brain as well as its structure, exploiting complex dynamics rather than abstracting it away. Just as a Turing Machine is a Universal Digital Computer operating in a world of symbols, we propose that the brain is a Universal Dynamical Systems Modeller, evolved bottom-up (itself using nested networks of interconnected, self-organised dynamical systems) to prosper in a world of dynamical systems. Recent progress in Applied Mathematics has produced startling evidence of what happens when abstract Dynamical Systems interact. Key latent information describing system A can be extracted by system B from very simple signals, and signals can be used by one system to control and manipulate others. Using these facts, we show how a region of the neocortex uses its dynamics to intrinsically "compute" about the external and internal world. Building on an existing "static" model of cortical computation (Hawkins' Hierarchical Temporal Memory - HTM), we describe how a region of neocortex can be viewed as a network of components which together form a Dynamical Systems modelling module, connected via sensory and motor pathways to the external world, and forming part of a larger dynamical network in the brain. Empirical modelling and simulations of Dynamical HTM are possible with simple extensions and combinations of currently existing open source software. We list a number of relevant projects.

연구 동기 및 목표

• 신경피질을 상징적 처리기로 보는 것이 아니라, 추상적 계산이 아닌 복잡한 역학을 기반으로 하는 일반 동적 시스템 모델러로 재정의하고자 한다.
• 하폰스의 고유한 시간 기억(HTM) 모델을 모든 6개의 피질층에 걸쳐 시간 역학을 포함하도록 확장하여 정적 공간적 스냅샷을 넘어서고자 한다.
• 내재된 신경 동역학이 어떻게 잠재 정보를 추출하고, 신호 상호작용을 통해 복잡한 시스템을 제어할 수 있는지, 역학 시스템 이론에 영감을 받아 설명하고자 한다.
• 대부분의 딥러닝에서 사용되는 백프로파게이션에 기반한 학습 방식을 피하기 위해, 표현-예측 이상 현상에 기반한 오차 기반 학습 방식을 활용하여 생물학적으로 타당한 대안을 제공하고자 한다.
• 시간적 일관성과 비정상성의 특성을 갖는 입력을 벡터 기반의 다층 HTM 프레임워크로 효율적으로 모델링할 수 있음을 보여주고자 한다.

제안 방법

• HTM에서 고유한 학습 알고리즘(Cortical Learning Algorithm, CLA)을 확장하여 신경피질의 모든 6개 층을 모델링함으로써, 시간적 순서와 시스템 상태의 동적 표현이 가능해졌다.
• 역학 시스템 이론의 결과를 활용하여, 동적 시스템 간의 상호작용을 통해 입력으로부터 잠재적인 인과적 매개변수를 추출한다.
• 표현-예측 이상 현상의 渐진적 인코딩을 통한 층 간 및 영역 간 소통을 도입하여 내부 동역학과 행동의 안정성을 높인다.
• 신경 집단이 어떻게 동적 시스템 행동을 인코딩하고 예측하는지를 형식화하기 위해, 벡터 기반의 수학적 기술을 사용한다.
• 타케인스의 정리와 카오스 이론의 결과를 활용하여, 시간 시리즈 신호로부터 동적 시스템을 재구성할 수 있음을 보여주며, 이는 내재된 모델링을 가능하게 한다.
• 백프로파게이션이나 배치 처리에 의존하지 않고, 개방소스 소프트웨어 도구를 사용하여 동적 HTM 모델을 시뮬레이션하고 실증적으로 검증한다.

실험 결과

연구 질문

• RQ1 기계적 또는 논리적 계산에 의존하지 않고, 복잡하고 시간에 따라 변화하는 시스템의 역학을 모델링하고 예측할 수 있는 신경피질의 메커니즘은 무엇인가?
• RQ2 예측 오차와 표현 이상 현상은 코어티컬 동역학을 안정화시키고 적응적 행동을 가능하게 하는 데 어떤 역할을 하는가?
• RQ3 모든 6개의 피질층을 아우르는 고유한 시간 기억을 어떻게 확장하여 정적 공간 스냅샷이 아닌 시간 역학을 모델링할 수 있는가?
• RQ4 동적 시스템 간의 신호 상호작용은 한 시스템이 다른 시스템의 행동을 어떻게 추론하고 제어할 수 있는가?
• RQ5 내재된 동역학에 기반한 생물학적으로 타당한 학습 메커니즘이 시간적 일관성과 비정상성을 모델링하는 데 있어 백프로파게이션 기반의 딥러닝을 능가할 수 있는가?

주요 결과

• 신경피질은 기계적 처리나 백프로파게이션에 의존하지 않고, 내재된 동역학과 신호 기반 추론을 활용함으로써 일반 동적 시스템 모델러로 기능할 수 있다.
• HTM를 모든 6개의 피질층에 확장함으로써, 시간에 따라 변화하는 동적 시스템의 인과적 매개변수, 특히 비정상성까지도 표현하고 예측할 수 있게 되었다.
• 층 간의 표현-예측 이상 현상 인코딩이 내부 동역학을 안정화시키며, 생물학적 시스템의 자율적 조직 과정을 모방한 통합된 행동을 가능하게 한다.
• 백프로파게이션 기반의 딥러닝에서 흔히 발생하는 기울기 소실, 배치 처리, 시간 순서의 무작위화 문제를 피하기 위해, 내재적이고 연속적인 동역학에 기반한다.
• 기존의 개방소스 도구를 사용하여 동적 HTM 모델의 실증적 모델링과 시뮬레이션을 수행할 수 있으며, 이는 이론적 프레임워크의 검증을 가능하게 한다.
• 이 모델은 결합된 동적 시스템의 관점에서 언어, 운동 제어, 사회적 상호작용 등의 인지 현상에 대해 단순하고 효과적인 설명을 제공한다.