[論文レビュー] RMAAT: Astrocyte-Inspired Memory Compression and Replay for Efficient Long-Context Transformers

Md Zesun Ahmed Mia, Malyaban Bal+1 more|arXiv (Cornell University)|Jan 1, 2026

Advanced Memory and Neural Computing被引用数 0

ひとこと要約

RMAATは星状細胞に着想を得たメモリ圧縮と、長文脈シーケンスを効率的に処理する再発メモリ強化トランスフォーマをメモリリプレイ学習と組み合わせて導入し、Long Range Arenaベンチマークで低いメモリ使用量と競争力のある精度を達成します。

ABSTRACT

The quadratic complexity of self-attention mechanism presents a significant impediment to applying Transformer models to long sequences. This work explores computational principles derived from astrocytes-glial cells critical for biological memory and synaptic modulation-as a complementary approach to conventional architectural modifications for efficient self-attention. We introduce the Recurrent Memory Augmented Astromorphic Transformer (RMAAT), an architecture integrating abstracted astrocyte functionalities. RMAAT employs a recurrent, segment-based processing strategy where persistent memory tokens propagate contextual information. An adaptive compression mechanism, governed by a novel retention factor derived from simulated astrocyte long-term plasticity (LTP), modulates these tokens. Attention within segments utilizes an efficient, linear-complexity mechanism inspired by astrocyte short-term plasticity (STP). Training is performed using Astrocytic Memory Replay Backpropagation (AMRB), a novel algorithm designed for memory efficiency in recurrent networks. Evaluations on the Long Range Arena (LRA) benchmark demonstrate RMAAT's competitive accuracy and substantial improvements in computational and memory efficiency, indicating the potential of incorporating astrocyte-inspired dynamics into scalable sequence models.

研究の動機と目的

• Transformersにおける長いシーケンスの自己注意の二次計算の二次的複雑性を動機付け解決する。
• 星状細胞に着想を得たメカニズムでメモリを圧縮し、セグメント間で注意を調整する。
• 再発型トランスフォーマのトレーニングにおけるメモリフットプリントを削減するAMRBトレーニングを開発する。
• LRAでメモリと計算効率を大幅に改善しつつ競争力のある精度を示す。

提案手法

• セグメント処理とコンテキストをセグメント間で保持する永続的なメモリトークンを用いたRMAATを提案する。
• ニューロン-星状細胞相互作用に触発された書き込みモードと読み出しモードを備えたAstromorphic注意を導入する。
• 星状細胞のLTPに触発したダイナミクスからメモリ保持因子を導出し、メモリトークンを適応的に圧縮する。
• 再発アーキテクチャのトレーニングを低いメモリ使用量で実現するAstrocytic Memory Replay Backpropagation (AMRB)を定義する。
• 相対的位置エンコーディングを星状細胞のSTPダイナミクスに基づいて空間的文脈を符号化する。
• セグメント内で効率的なO(N)注意を実現する2層のニューロン-星状細胞ネットワーク実装を提供する。

Figure 1: Conceptual illustration of RMAAT processing through time unrolling. Processing within each segment incorporates mechanisms inspired by STP. The recurrent propagation of astrocytic memory tokens ( $mem_{t}$ ) integrates context across many segments, drawing inspiration from LTP principles f

実験結果

リサーチクエスチョン

• RQ1 星状細胞に着想を得たダイナミクスをTransformer風アーキテクチャへ統合して長期文脈処理を改善する方法は何か。
• RQ2 適応的圧縮を伴うメモリトークンは、メモリと計算量を削減しつつ性能を維持できるか。
• RQ3 AMRBトレーニングアルゴリズムは再発型トランスフォーマにおいて標準的なBPTTよりもメモリ効率の利点を提供するか。
• RQ4 星状細胞由来の相対配置が長いシーケンスにおける注意の有効性に与える影響は何か。

主な発見

• RMAATは複数のタスクにおいてLong Range Arenaベンチマークで競争力のある精度を達成する。
• RMAATはアイソメトリックアーキテクチャの再帰ベースラインよりもはるかに低いピークメモリを使用する（例：RMT）。
• Long Range Arenaのタスクでは、特にRetrievalやPathfinderのような長い文脈タスクでRMAATが強い性能を発揮する。
• AMRBは、コンパクトなメモリトークン列を用いた forward再計算をリプレイすることでメモリ節約学習を可能にし、ストレージ要件を削減する。
• メモリ保持因子は適応的で生体に触発された文脈圧縮を提供し、新しい情報の影響を受けて長距離文脈伝搬を可能にする。
• アブレーションではメモリ圧縮の欠如（RMTに類似）により精度が低下することが示され、圧縮とAMRBの相乗効果を強調する。

Figure 2: Overview of the Astromorphic Transformer architecture. This diagram illustrates the integration of bioplausible bidirectional feedback mechanisms within a two-layered neuron-astrocyte network, emulating the Self-Attention of the transformer encoder. The synaptic weights $W_{K}$ , $W_{Q}$ ,