[논문 리뷰] The Expressive Leaky Memory Neuron: an Efficient and Expressive Phenomenological Neuron Model Can Solve Long-Horizon Tasks

Aaron Spieler, Nasim Rahaman외 3명|arXiv (Cornell University)|2023. 06. 14.

Advanced Memory and Neural ComputingEngineering인용 수 3

한 줄 요약

표현적 누출 메모리(ELM) 뉴런은 생물학적으로 영감을 받은 현상학적 순환 뉴런 모델로, 몇 개의 천천히 감쇠하는 메모리 상태와 이중층 비선형 시냅스 통합을 사용하여 10,000개 미만의 파rameter로 고정밀도 생물물리학적皮질 뉴런 모델의 스파ike 수준 입력-출력 행동을 정확히 재현한다. 이는 이전 방법들에 비해 파rameter 수를 크게 감소시킨다. 장기적 시간 범위 작업에서 최신 기술 수준의 성능을 달성하며, 16,000의 컨텍스트 길이에서 Pathfinder-X 작업을 70% 이상의 정확도로 해결하여 트랜스포머와 크로노-LSTM를 능가한다.

ABSTRACT

Biological cortical neurons are remarkably sophisticated computational devices, temporally integrating their vast synaptic input over an intricate dendritic tree, subject to complex, nonlinearly interacting internal biological processes. A recent study proposed to characterize this complexity by fitting accurate surrogate models to replicate the input-output relationship of a detailed biophysical cortical pyramidal neuron model and discovered it needed temporal convolutional networks (TCN) with millions of parameters. Requiring these many parameters, however, could stem from a misalignment between the inductive biases of the TCN and cortical neuron's computations. In light of this, and to explore the computational implications of leaky memory units and nonlinear dendritic processing, we introduce the Expressive Leaky Memory (ELM) neuron model, a biologically inspired phenomenological model of a cortical neuron. Remarkably, by exploiting such slowly decaying memory-like hidden states and two-layered nonlinear integration of synaptic input, our ELM neuron can accurately match the aforementioned input-output relationship with under ten thousand trainable parameters. To further assess the computational ramifications of our neuron design, we evaluate it on various tasks with demanding temporal structures, including the Long Range Arena (LRA) datasets, as well as a novel neuromorphic dataset based on the Spiking Heidelberg Digits dataset (SHD-Adding). Leveraging a larger number of memory units with sufficiently long timescales, and correspondingly sophisticated synaptic integration, the ELM neuron displays substantial long-range processing capabilities, reliably outperforming the classic Transformer or Chrono-LSTM architectures on LRA, and even solving the Pathfinder-X task with over 70% accuracy (16k context length).

연구 동기 및 목표

• 복잡한 시간적 통합을 막대한 파rameter 수에 의존하지 않고도 포착하는 생물학적으로 영감을 받은 효율적인 대체 모델을 개발하는 것.
• 적절한 인덕티브 바이어스(예: 누출 메모리 단위와 비선형 덴드리트 통합)가 고정밀도 생물물리학적 뉴런 입력-출력 관계를 모델링하기 위해 필요한 모델 복잡성의 감소에 기여할 수 있는지 조사하는 것.
• 이러한 모델이 장기적 시간 범위 기계학습 작업, 특히 극도로 긴 시간 의존성을 가진 작업을 효과적으로 해결할 수 있는지 평가하는 것.
• 인공 신경망에서 생물학적 뉴런 메커니즘(예: 느린 메모리 감쇠와 비선형 통합)을 모방할 경우의 계산적 영향을 탐색하는 것.
• 최소한의 해석 가능한 뉴런 모델이 장기 컨텍스트 작업에서 깊은 아키텍처의 성능을 따라하거나 능가할 수 있는지 여부를 규명하는 것.

제안 방법

• ELM 뉴런은 장기적인 시간 스케일에서 시간 정보를 저장하는 천천히 감쇠하는 메모리 상태(누출 통합기)를 사용한다.
• 시냅스 입력은 이중층 비선형 변환을 통해 여러 메모리 단위를 통해 비선형적으로 통합되어 깊은 아키텍처 없이도 표현력 있는 계산을 가능하게 한다.
• 학습에는 시간을 거슬러 내려가는 역전파(BPTT)를 사용하며, 메모리 시간 스케일과 비선형성은 작업 요구사항에 맞게 정밀하게 조정된다.
• 아키텍처는 깊이 있는 복잡성에 의존하기보다는 피각 계산의 인덕티브 바이어스(예: 시간 통합과 덴드리트 비선형성)와 일치하도록 설계되었다.
• 모델 하이퍼파ram터(메모리 시간 스케일, 메모리 단위 수 등)는 작업 길이와 복잡성에 따라 조정되며, 더 긴 시간 스케일은 더 긴 컨텍스트 작업에서의 성능을 가능하게 한다.
• 모델은 Long Range Arena(LRA) 벤치마크와 새로운 뉴모포닉 데이터셋(SHD-Adding)에서 평가되었으며, 트랜스포머, LSTMs, S4 모델과의 성능 비교가 이루어졌다.

(a) A Cortical Neuron

실험 결과

연구 질문

• RQ1 최소한의 파rameter와 생물학적으로 영감을 받은 인덕티브 바이어스를 가진 현상학적 뉴런 모델이 고정밀도 생물물리학적 피각 뉴런 모델의 스파이크 수준 입력-출력 관계를 정확히 재현할 수 있는가?
• RQ2 누출 메모리 단위와 비선형 덴드리트 통합의 포함이 표준 시간적 컨볼루션 네트워크에 비해 복잡한 피각 계산을 모델링하기 위해 필요한 파rameter 수를 크게 줄일 수 있는가?
• RQ3 이러한 모델이 장기적 시간 범위 기계학습 작업을 신뢰성 있게 해결할 수 있는가, 특히 16,000 토큰의 극도로 긴 컨텍스트 길이를 가진 작업에 대해 말이다?
• RQ4 ELM 뉴런의 성능는 장거리 의존성이 있는 작업에서 기존 아키텍처인 트랜스포머와 LSTMs에 비해 어떻게 비교되는가?
• RQ5 메모리 시간 스케일과 메모리 단위 수가 장기적인 시간적 구조를 포착하는 데 모델의 능력에 얼마나 큰 영향을 미치는가?

주요 결과

• ELM 뉴런은 10,000개 미만의 학습 가능한 파rameter로 고정밀도 생물물리학적 뉴런의 입력-출력 관계를 정확히 재현하며, 이는 이전의 시간적 컨볼루션 네트워크가 요구하는 수백만 개의 파rameter에 비해 극적으로 감소한 것이다.
• 16,000토큰의 컨텍스트 길이를 가진 Pathfinder-X 작업에서 ELM 뉴런은 70% 이상의 정확도를 달성하였다. 이는 단 한 번의 하이퍼파ram터 튜닝에서만 크로노-LSTM가 달성한 결과였으며, 트랜스포머와 롱포머는 이 성능에 도달하지 못했다.
• SHD-Adding 뉴모포닉 데이터셋에서 ELM 뉴런은 표준 LSTMs와 크로노-LSTM를 모두 능가하며 생물학적으로 유도된 장기 컨텍스트 작업에서 강력한 일반화 능력을 보였다.
• 모델의 성능는 메모리 시간 스케일 초기화에 매우 민감하며, 더 긴 시간 스케일이 더 긴 컨텍스트 작업에서의 신뢰성 있는 성능을 가능하게 한다.
• ELM 모델의 성공은 생물학적 계산과 일치하는 인덕티브 바이어스(예: 누출 메모리와 비선형 통합)가 시퀀스 모델링에서 샘플 및 파rameter 효율성을 크게 향상시킬 수 있음을 시사한다.
• 비록 생물학적 영감을 받았지만, 모델는 생물물리적 세부 정보를 추상화하여 계산 효율성과 해석 가능성 확보를 위해 신경 계산의 기계적 메커니즘을 제공하지는 않는다.

(b) The ELM Neuron Architecture