[논문 리뷰] ORGaNICs: A Theory of Working Memory in Brains and Machines

David J. Heeger, Wayne E. Mackey|arXiv (Cornell University)|2018. 03. 16.

Neural dynamics and brain function참고 문헌 106인용 수 3

한 줄 요약

ORGaNICs는 장기 단기 기억(LSTM) 유닛을 생물학적으로 타당한 프레임워크로 변형하여, 피각 및 두정엽皮質에서의 작업 기억 동역학을 설명하는 비선형 순환 신경 회로 모델인 진동성 순환 가중 신경 통합 회로 회로(Oscillatory Recurrent Gated Neural Integrator Circuits)를 제안한다. 측편-피각 회로를 통한 감압성 억제를 통해 LSTM 유닛을 생물학적으로 타당하게 조정함으로써, 분석적으로 접근 가능한 동적 가변 정보 인코딩 및 읽기 기능을 가능하게 하여 뇌와 기계에 대한 표준화된 계산 프레임워크를 제공한다.

ABSTRACT

Working memory is a cognitive process that is responsible for temporarily holding and manipulating information. Most of the empirical neuroscience research on working memory has focused on measuring sustained activity in prefrontal cortex (PFC) and/or parietal cortex during simple delayed-response tasks, and most of the models of working memory have been based on neural integrators. But working memory means much more than just holding a piece of information online. We describe a new theory of working memory, based on a recurrent neural circuit that we call ORGaNICs (Oscillatory Recurrent GAted Neural Integrator Circuits). ORGaNICs are a variety of Long Short Term Memory units (LSTMs), imported from machine learning and artificial intelligence. ORGaNICs can be used to explain the complex dynamics of delay-period activity in prefrontal cortex (PFC) during a working memory task. The theory is analytically tractable so that we can characterize the dynamics, and the theory provides a means for reading out information from the dynamically varying responses at any point in time, in spite of the complex dynamics. ORGaNICs can be implemented with a biophysical (electrical circuit) model of pyramidal cells, combined with shunting inhibition via a thalamocortical loop. Although introduced as a computational theory of working memory, ORGaNICs are also applicable to models of sensory processing, motor preparation and motor control. ORGaNICs offer computational advantages compared to other varieties of LSTMs that are commonly used in AI applications. Consequently, ORGaNICs are a framework for canonical computation in brains and machines.

연구 동기 및 목표

• 지속적 활동 모델을 초월하는 생물학적으로 타당한 작업 기억 이론을 개발하는 것.
• 전통적인 신경 통합자 모델이 전두엽 피질에서의 복잡한 지연 기간 동역학을 설명하는 데에 한계를 보이는 문제를 해결하는 것.
• 작업 기억, 감각 처리, 운동 조절을 하나의 계산 프레임워크로 통합하는 것.
• 시간에 따라 변화하는 신경 반응에서 정보를 읽어내는 데에 유용한 분석적으로 접근 가능한 모델을 제공하는 것.

제안 방법

• ORGaNICs는 생물학적 타당성을 고려해 조정된 장기 단기 기억(LSTM) 유닛의 변종이다.
• 모델은 진동성 순환 동역학을 활용하여 일시적 및 지속적 활동 패턴을 지원한다.
• 측편-피각 회로를 통한 감압성 억제를 통합하여 자극을 조절하고 동적 게이팅을 가능하게 한다.
• Pyramidal 세포의 생물물리적 모델과 시냅스 통합 기법을 사용하여 회로를 구현한다.
• 이론적 분석을 통해 어떤 시점에서든 신경 동역학과 정보 읽기 기능을 특성화할 수 있다.
• 비정상적인 신경 반응에서의 실시간 정보 복원을 지원하는 프레임워크이다.

실험 결과

연구 질문

• RQ1 복잡하고 시간에 따라 변화하는 활동 패턴을 지닌 생물학적으로 타당한 신경 회로로 작업 기억를 어떻게 모델링할 수 있는가?
• RQ2 작업 기억 과제 중 전두엽 피질에서 동적 정보 인코딩 및 읽기 기능을 가능하게 하는 메커니즘은 무엇인가?
• RQ3 LSTM 유사 유닛을 어떻게 알려진 피질 미세 회로와 생물물리학적 특성에 맞게 조정할 수 있는가?
• RQ4 단일 계산 프레임워크로 작업 기억, 감각 처리, 운동 조절을 모두 설명할 수 있는가?
• RQ5 ORGaNICs는 신경과학 및 인공지능 응용 분야에서 표준 LSTMs에 비해 어떤 이점을 제공하는가?

주요 결과

• ORGaNICs는 작업 기억 과제 중 전두엽 피질에서 관찰된 복잡한 지연 기간 활동 패턴을 성공적으로 재현한다.
• 모델은 일시적 및 진동성 반응을 포함한 신경 동역학의 분석적으로 접근 가능한 특성화를 가능하게 한다.
• 비정상적인 활동조차도 시간에 따라 변화하는 신경 반응에서 어떤 순간에도 정보를 읽어낼 수 있다.
• 프레임워크는 통합된 아키텍처 내에서 작업 기억, 감각 처리, 운동 조절 등의 다수의 인지 기능을 지원한다.
• 해석 가능성과 계산 효율성 측면에서 표준 LSTMs의 생물물리적 기반 대안을 제공한다.