[논문 리뷰] Feynman Machine: The Universal Dynamical Systems Computer

Eric Laukien, Richard Crowder외 1명|arXiv (Cornell University)|2016. 09. 13.

Chaos-based Image/Signal Encryption참고 문헌 21인용 수 4

한 줄 요약

이 논문은 신경과학과 동역학계 이론을 영감으로 삼아, 동역학계를 위한 유니버설 계산 모델인 페인만 기계(Feynman Machine)를 제안한다. 이 모델은 예측 인코더-디코더 모듈의 계층적 구조를 사용하여, 적응형이고 국소적으로 연결된 학습 방식을 통해 시공간적 동역학을 예측하도록 학습하며, 이로 인해 더 적은 데이터와 계산 자원으로도 효율적이고 강건하며 확장 가능한 기계지능을 실현한다.

ABSTRACT

Efforts at understanding the computational processes in the brain have met with limited success, despite their importance and potential uses in building intelligent machines. We propose a simple new model which draws on recent findings in Neuroscience and the Applied Mathematics of interacting Dynamical Systems. The Feynman Machine is a Universal Computer for Dynamical Systems, analogous to the Turing Machine for symbolic computing, but with several important differences. We demonstrate that networks and hierarchies of simple interacting Dynamical Systems, each adaptively learning to forecast its evolution, are capable of automatically building sensorimotor models of the external and internal world. We identify such networks in mammalian neocortex, and show how existing theories of cortical computation combine with our model to explain the power and flexibility of mammalian intelligence. These findings lead directly to new architectures for machine intelligence. A suite of software implementations has been built based on these principles, and applied to a number of spatiotemporal learning tasks.

연구 동기 및 목표

• 현재 딥러닝의 한계를 해결하기 위해 신경과학과 동역학계 이론에 기반한 새로운 계산 모델을 제안한다.
• 소형피질을 상호작용하는 동역학계의 시스템으로 모델링하여 생물학적 신경계 계산과 인공지능 사이의 격차를 메운다.
• 최소한의 데이터, 계산 비용, 미세조정으로도 높은 성능을 달성하는 기계학습 아키텍처를 개발한다.
• 모듈형이고 분산된 학습을 통해 엣지 기반 저전력 시스템부터 클라우드 기반 클러스터에 이르기까지의 장치 간 원활한 통합을 가능하게 한다.
• 동적 하위네트워크 라우팅을 통해 지도학습, 비지도학습, 준지도학습, 강화학습을 하나의 아키텍처에서 통합한다.

제안 방법

• 페인만 기계는 동역학계의 진화를 예측하도록 학습하는 예측 인코더와 생성 디코더 모듈의 계층적 네트워크를 사용한다.
• 각 인코더는 국소적 억제와 원자료 및 감쇠된 이동 평균을 조합한 입력 커널에 기반한 국소적, 희소적, 이진 활성 메커니즘을 사용한다.
• 인코더의 자극은 국소적 수신장 내에서 가중치 합으로 계산되며, 가중치는 스파ike-타이밍 의존성 플라스티시티(STDP)의 형태로 업데이트된다.
• 디코더는 역방향으로 작동하여, 높은 수준의 예측에서 입력을 재구성한다. 여기서 인코더의 은닉 상태가 복원 과정을 조절한다.
• 학습은 생물학적으로 타당한 업데이트 규칙을 사용한다: 인코더 가중치는 예측 오차와 은닉 상태 활성도에 기반해 조정되며, 편향은 목표 희소성을 유지하기 위해 조정된다.
• 이 아키텍처는 스파ati오-시계적 맥락에 따라 하위네트워크를 전환하는 라우팅된 예측 계층을 통해 동적 라우팅을 지원하며, 기존 딥러닝 네트워크에 직접적인 제어를 가능하게 한다.

실험 결과

연구 질문

• RQ1 서로 상호작용하는 동역학계의 계층적 시스템이 각각 자신의 진화를 예측할 경우, 이는 동역학계를 위한 유니버설 컴퓨터가 될 수 있는가?
• RQ2 타카엔스의 정리에서 유도된 시간지연 임베딩 원리를 신경망 아키텍처에 어떻게 구현할 수 있는가? 이를 통해 복잡한 동역학을 정확하게 모델링할 수 있는가?
• RQ3 생물학적으로 영감을 얻은 국소적으로 연결된 희소적이고 적응형 학습을 갖춘 네트워크가 소형피질의 감각운동 모델링 능력을 어느 정도 재현할 수 있는가?
• RQ4 이러한 시스템이 훨씬 적은 데이터, 계산 비용, 하이퍼파ram터 조정으로도 딥러닝 수준의 성능을 달성할 수 있는가?
• RQ5 동일한 아키텍처가 지도학습, 비지도학습, 준지도학습, 강화학습 등 다양한 학습 철학을 하나의 프레임워크 내에서 어떻게 지원할 수 있는가?

주요 결과

• 페인만 기계는 딥러닝 모델과 유사한 성능을 달성하면서도 계산 자원 소비, 학습 데이터 요구량, 하이퍼파ram터 조정의 필요성을 극적으로 줄였다.
• 클라우드 기반 모듈을 통한 엣지 장치의 동적 저대역폭 증강이 가능하여, 저전력 하드웨어에서도 실시간 적응이 가능하다.
• 국소적으로 연결되고 희소적이며 적응형 학습 메커니즘을 사용함으로써, 시계적 예측을 통해 외부 및 내부 세계의 정확한 감각운동 모델을 구축할 수 있다.
• 라우팅된 예측 계층은 맥락 기반 하위네트워크로의 전환을 통해 기존 딥러닝 네트워크를 직접 제어할 수 있게 하여 일반화 능력과 적응 능력을 향상시킨다.
• 예측 신호가 인코더 상태를 통해 비선형 활성화를 도입하는 조절된 예측 네트워크는 신용 할당을 단순화하고 기울기 소실 문제를 피한다.
• 소프트웨어 구현 사례들은 다양한 시공간 학습 과제에서 성공적인 성능를 보이며 이론적 프레임워크와 아키텍처 원칙의 타당성을 검증한다.