[論文レビュー] Memory Bank Compression for Continual Adaptation of Large Language Models

Thomas Katraouras, Dimitrios Rafailidis|arXiv (Cornell University)|Jan 2, 2026

Domain Adaptation and Few-Shot Learning被引用数 0

ひとこと要約

この論文は、記憶バンク圧縮技術を提案し、大規模言語モデルの継続適応を可能にすることを目的としています。

ABSTRACT

Large Language Models (LLMs) have become a mainstay for many everyday applications. However, as data evolve their knowledge quickly becomes outdated. Continual learning aims to update LLMs with new information without erasing previously acquired knowledge. Although methods such as full fine-tuning can incorporate new data, they are computationally expensive and prone to catastrophic forgetting, where prior knowledge is overwritten. Memory-augmented approaches address this by equipping LLMs with a memory bank, that is an external memory module which stores information for future use. However, these methods face a critical limitation, in particular, the memory bank constantly grows in the real-world scenario when large-scale data streams arrive. In this paper, we propose MBC, a model that compresses the memory bank through a codebook optimization strategy during online adaptation learning. To ensure stable learning, we also introduce an online resetting mechanism that prevents codebook collapse. In addition, we employ Key-Value Low-Rank Adaptation in the attention layers of the LLM, enabling efficient utilization of the compressed memory representations. Experiments with benchmark question-answering datasets demonstrate that MBC reduces the memory bank size to 0.3% when compared against the most competitive baseline, while maintaining high retention accuracy during online adaptation learning. Our code is publicly available at https://github.com/Thomkat/MBC.

研究の動機と目的

• 大規模言語モデルの継続適応の必要性を動機づける。
• 記憶と適応効率を管理する機構として記憶バンク圧縮を導入する。
• 圧縮を継続学習ワークフローへ統合するアプローチを概説する。

提案手法

• 継続学習中のメモリフットプリントを削減するための記憶バンク圧縮技術を提案する。
• 記憶バンクに保存された表現を圧縮するための核となるコンポーネントまたはアルゴリズムを説明する。
• 大規模言語モデルの継続適応パイプラインへの統合について議論する。

実験結果

リサーチクエスチョン

• RQ1 記憶バンク圧縮のどの戦略が、LLMsの継続適応を最も効果的に支援するか。
• RQ2 圧縮が継続学習シナリオにおける記憶効率と適応性能にどのように影響するか。
• RQ3 圧縮レベル、忠実度、継続学習の効果とのトレードオフは何か。

主な発見

• 提供された抜粋には明示的な実験結果や定量的な発見が含まれていない。
• 与えられたテキストには具体的な性能指標や表は存在しない。
• 抜粋には高レベルの記述を超える方法論的な詳細は存在しない。