[論文レビュー] In-context Autoencoder for Context Compression in a Large Language Model

Tao Ge, Jing Hu+4 more|arXiv (Cornell University)|Jul 13, 2023

Speech Recognition and Synthesis被引用数 7

ひとこと要約

本稿では、長文のコンテキストをコン pact なメモリースロットに圧縮する軽量な手法であるIn-context Autoencoder (ICAE) を提案する。この手法は、LoRAでファインチューニングされたLLMを用いて、最大4倍のコンテキスト圧縮を実現し、効率的な推論を可能にする。性能を維持したまま、顕著な遅延とメモリの節約が達成され、LLMの記憶メカニズムとコンテキスト管理に関する新たな知見を提供する。

ABSTRACT

We propose the In-context Autoencoder (ICAE), leveraging the power of a large language model (LLM) to compress a long context into short compact memory slots that can be directly conditioned on by the LLM for various purposes. ICAE is first pretrained using both autoencoding and language modeling objectives on massive text data, enabling it to generate memory slots that accurately and comprehensively represent the original context. Then, it is fine-tuned on instruction data for producing desirable responses to various prompts. Experiments demonstrate that our lightweight ICAE, introducing about 1% additional parameters, effectively achieves $4 imes$ context compression based on Llama, offering advantages in both improved latency and GPU memory cost during inference, and showing an interesting insight in memorization as well as potential for scalability. These promising results imply a novel perspective on the connection between working memory in cognitive science and representation learning in LLMs, revealing ICAE's significant implications in addressing the long context problem and suggesting further research in LLM context management. Our data, code and models are available at https://github.com/getao/icae.

研究の動機と目的

• 入力シーケンスを短く情報豊かなメモリ表現に圧縮することで、LLMにおける長文コンテキスト問題に対処すること。
• 長文コンテキストをコン pact なメモリースロットに置き換えることで、遅延とGPUメモリコストを低減し、効率的な推論を可能にすること。
• 自己教師あり事前学習がLLMの記憶能力をどのように向上させるかを調査し、人間の作業記憶と類似するメカニズムを明らかにすること。
• アーキテクチャの変更なしに、既存のLLMと互換性があり、パラメータ効率的かつ即挿入可能なソリューションを開発すること。
• メモリースロットが、チェーン・オブ・ススメーション推論やタスク固有の圧縮といった、下流タスクにおいてどのように有効に機能するかを調査すること。

提案手法

• ICAEは、LoRAで適応させたLLMを学習可能なエンコーダーとして用い、長文の入力コンテキストを少数のメモリースロットに圧縮する。
• デコーダーは、生成されたメモリースロットを条件として応答を生成するか、元のコンテキストを再構築するターゲットLLMそのものである。
• モデルは、自己符号化と言語モデリングの目的関数を同時に事前学習することで、メモリースロットが再構築可能で意味的に意味のあるものであることを保証する。
• 指示データでのファインチューニングにより、多様なプロンプトシナリオに適したメモリースロットの質が向上し、プロンプトとの相互作用が強化される。
• メモリースロットは特別なトークン形式と学習可能な埋め込みを介して学習され、コン pact で高精度な表現が可能になる。
• この手法はパラメータ効率的であり、LoRAを介して元のモデルパラメータの1%未満を追加する。

実験結果

リサーチクエスチョン

• RQ1 アーキテクチャの変更なしに、大規模言語モデルを用いて長文の入力コンテキストを少数のメモリースロットに効果的に圧縮できるか？
• RQ2 このようなメモリースロットが、元のコンテキストの意味的および構造的情報をどの程度保持できるか？
• RQ3 自己教師あり事前学習は、モデルの長文コンテキストの記憶・再構築能力にどのように影響を与えるか？
• RQ4 実世界のシナリオにおいて、コンテキスト圧縮比と推論性能のトレードオフはどのようなものか？
• RQ5 メモリースロットは、チェーン・オブ・ススメーション推論やタスク固有のプロンプティングを含む多様な下流タスクにおいて、実際に有効に機能するか？

主な発見

• ICAEは、Llamaモデルにおいて最大4倍のコンテキスト圧縮を達成し、GPUメモリ使用量と推論遅延を顕著に削減した。
• 4096のコンテキストトークンではなく2048のメモリースロットを使用しても、性能劣化は最小限であり、約20GBのGPUメモリを節約できる。
• 自己符号化と言語モデリングの目的関数を用いた事前学習フェーズにより、モデルの長文コンテキストの記憶・再構築能力が著しく向上した。
• この手法は既存のLLMと強く互換性があり、LoRAファインチューニングによるわずか1%の追加パラメータで実現できる。
• メモリースロットはチェーン・オブ・ススメーション推論において有効であり、タスク固有の圧縮のためにさらにファインチューニング可能である。
• 本研究では、LLMの記憶メカニズムと人間の作業記憶の間に強い類似性が示され、表現学習における共通のメカニズムが示唆された。