[논문 리뷰] RMAAT: Astrocyte-Inspired Memory Compression and Replay for Efficient Long-Context Transformers

Md Zesun Ahmed Mia, Malyaban Bal외 1명|arXiv (Cornell University)|2026. 01. 01.

Advanced Memory and Neural Computing인용 수 0

한 줄 요약

RMAAT는 astrocyte에서 영감을 받은 기억 압축과 기억 재생 학습을 갖춘 순환 메모리 보강 트랜스포머를 도입하여 긴 컨텍스트 시퀀스를 효율적으로 처리하고 Long Range Arena 벤치마크에서 메모리 사용을 줄이면서 경쟁력 있는 정확도를 달성합니다.

ABSTRACT

The quadratic complexity of self-attention mechanism presents a significant impediment to applying Transformer models to long sequences. This work explores computational principles derived from astrocytes-glial cells critical for biological memory and synaptic modulation-as a complementary approach to conventional architectural modifications for efficient self-attention. We introduce the Recurrent Memory Augmented Astromorphic Transformer (RMAAT), an architecture integrating abstracted astrocyte functionalities. RMAAT employs a recurrent, segment-based processing strategy where persistent memory tokens propagate contextual information. An adaptive compression mechanism, governed by a novel retention factor derived from simulated astrocyte long-term plasticity (LTP), modulates these tokens. Attention within segments utilizes an efficient, linear-complexity mechanism inspired by astrocyte short-term plasticity (STP). Training is performed using Astrocytic Memory Replay Backpropagation (AMRB), a novel algorithm designed for memory efficiency in recurrent networks. Evaluations on the Long Range Arena (LRA) benchmark demonstrate RMAAT's competitive accuracy and substantial improvements in computational and memory efficiency, indicating the potential of incorporating astrocyte-inspired dynamics into scalable sequence models.

연구 동기 및 목표

• Transformers에서 긴 시퀀스의 자기 주의( self-attention) 의 제곱 복잡도에 대한 동기 부여 및 해결.
• 시냅스/글리아 상호작용에서 영감을 받은 astrocyte(성상교세포) 기반 메모리 압축 및 세그먼트 간 주의 집중 모듈 방식을 제안.
• 순환 Transformer 학습에서 메모리 발자국을 줄이기 위한 AMRB 학습 개발.
• LRA에서 메모리와 계산 효율성의 큰 이점을 달성하면서 경쟁력 있는 정확도 시현.

제안 방법

• 세그먼트 처리와 세그먼트를 넘나드는 맥락을 전달하는 지속 가능한 메모리 토큰으로 RMAAT 제안.
• 뉴런-성상교세포 상호작용에서 영감을 받은 Write 및 Read 모드를 갖춘 astromorphic 주의 메커니즘 도입.
• 성상교세포의 LTP(Inspired Dynamics) 다이나믹스에서 메모리 토큰을 적응적으로 압축하는 메모리 유지 계수 도출.
• 메모리 사용량을 줄인 순환 아키텍처 학습을 위한 Astrocytic Memory Replay Backpropagation(AMRB) 정의.
• 공간 맥락을 인코딩하기 위한 astrocyte STP 다이나믹스에 기반한 상대 위치 인코딩.
• 세그먼트 내에서 효율적인 O(N) 주의를 위한 2층 뉴런-성상교세포 네트워크 구현.

Figure 1: Conceptual illustration of RMAAT processing through time unrolling. Processing within each segment incorporates mechanisms inspired by STP. The recurrent propagation of astrocytic memory tokens ( $mem_{t}$ ) integrates context across many segments, drawing inspiration from LTP principles f

실험 결과

연구 질문

• RQ1 성상교세포에서 영감을 받은 다이나믹스를 Transformer 유사 아키텍처에 통합하여 긴 컨텍스트 처리 능력을 향상시킬 수 있는가?
• RQ2 적응적 압축을 이용한 메모리 토큰이 성능을 유지하면서 메모리와 계산을 감소시킬 수 있는가?
• RQ3 AMRB 학습 알고리즘이 순환 트랜스포머에서 표준 BPTT에 비해 메모리 효율 이점을 제공하는가?
• RQ4 긴 시퀀스에서 성상교세포 유래의 상대 위치가 주의 효율성에 어떤 영향을 미치는가?

주요 결과

• RMAAT는 여러 작업에 걸쳐 Long Range Arena 벤치마크에서 경쟁력 있는 정확도 달성.
• RMAAT는 iso-아키텍처 순환 베이스라인(RMT 등)보다 훨씬 낮은 피크 메모리 사용을 보임.
• Long Range Arena 과제에서 RMAAT는 Retrieval 및 Pathfinder와 같은 더 긴 컨텍스트 작업에서 강한 성능을 달성.
• AMRB는 재계산된 전달 패스를 컴팩트한 메모리 토큰 시퀀스로 재생(replay)하여 저장 요구를 줄임으로써 메모리 효율적인 학습 가능.
• 메모리 유지 계수는 더 최신 정보에 대해 메모리 축적을 덜 저하시키는 생물학적 영감을 받은 적응형 컨텍스트 압축을 제공하여 장거리 컨텍스트 전달을 가능하게 함.
• 추적 연구에서 메모리 압축 제거(RMT와 유사)가 정확도를 저하시켰음을 보여주며 압축과 AMRB 간의 시너지를 강조.

Figure 2: Overview of the Astromorphic Transformer architecture. This diagram illustrates the integration of bioplausible bidirectional feedback mechanisms within a two-layered neuron-astrocyte network, emulating the Self-Attention of the transformer encoder. The synaptic weights $W_{K}$ , $W_{Q}$ ,