[論文レビュー] MEMORYLLM: Towards Self-Updatable Large Language Models

Yu Wang, Gao, Yifan+10 more|arXiv (Cornell University)|Feb 7, 2024

Topic Modeling被引用数 4

ひとこと要約

MemoryLLM は、変換器の潜在空間に埋め込まれた固定サイズのメモリプールを備えた自己更新可能な大規模言語モデルを導入し、パフォーマンスの低下を伴わずに効率的な知識の統合と長期的保持を可能にします。約100万回の更新後も、モデルは機能を維持し、モデル編集および長文脈推論タスクでベースラインを上回ります。

ABSTRACT

Existing Large Language Models (LLMs) usually remain static after deployment, which might make it hard to inject new knowledge into the model. We aim to build models containing a considerable portion of self-updatable parameters, enabling the model to integrate new knowledge effectively and efficiently. To this end, we introduce MEMORYLLM, a model that comprises a transformer and a fixed-size memory pool within the latent space of the transformer. MEMORYLLM can self-update with text knowledge and memorize the knowledge injected earlier. Our evaluations demonstrate the ability of MEMORYLLM to effectively incorporate new knowledge, as evidenced by its performance on model editing benchmarks. Meanwhile, the model exhibits long-term information retention capacity, which is validated through our custom-designed evaluations and long-context benchmarks. MEMORYLLM also shows operational integrity without any sign of performance degradation even after nearly a million memory updates. Our code and model are open-sourced at https://github.com/wangyu-ustc/MemoryLLM.

研究の動機と目的

• 展開後の新しい知識の更新を課題とするが、従来の手法は冗長性、コンテキストの過負荷、パフォーマンスの低下を抱える。
• バックプロパゲーションや大規模なファインチューニングを必要とせず、新しい知識を効率的に統合できるモデルを設計すること。
• 古くなった情報の段階的 forgetting を可能にすることで、モデルの整合性を保ちながら長期的な知識保持を実現すること。
• ほぼ100万ステップにわたる多数のメモリ更新後でも、モデルのパフォーマンスを維持し、劣化を防ぐこと。
• コンパクトで固定サイズのメモリプールを用いることで、知識の冗長性を低減し、効率的に知識を圧縮・保存すること。

提案手法

• MemoryLLM は、各変換器層の潜在空間に固定サイズのメモリプールを統合し、学習可能なメモリトークンを用いて圧縮された知識を表現する。
• モデルは自己更新メカニズムを採用し、新しい知識を全層に伝搬する。1ステップあたりメモリトークンの一部のみを更新することで、段階的な忘れを実現する。
• 知識の統合はバックプロパゲーションを必要とせず、メモリプールへの直接的なパラメータ更新に依存することで、効率性を確保する。
• メモリプールは知識の保存と取得を学習し、推論時にモデルのアテンションメカニズムが関連するメモリトークンに動的に注目する。
• 恒久的知識（ベース LLM パrameters でモデル化）と更新可能な知識（メモリプールに保存）をアーキテクチャで分離することで、的確な更新が可能になる。
• 洗練されたトレーニングプロセスにより、メモリの更新がモデルの元来の能力を損なわないようにし、運用の整合性を維持する。

(a) Generation

実験結果

リサーチクエスチョン

• RQ1 大規模言語モデルは、バックプロパゲーションを必要とせず、自己更新可能なメモリ機構を用いて新しい知識を効果的に統合できるか？
• RQ2 繰り返しの更新後、以前に学習した知識をどの程度保持できるか。また、忘れの速度はどの程度か？
• RQ3 従来の手法と比較して、メモリプールは長文脈推論およびモデル編集タスクをどの程度効果的にサポートできるか？
• RQ4 ほぼ100万回のメモリ更新後でも、モデルはパフォーマンスと機能を維持できるか？
• RQ5 固定サイズのメモリプールは、従来のリtrieval や長文脈アプローチと比較して、知識をよりコン act に、かつ冗長性を低く保存できるか？

主な発見

• MemoryLLM はモデル編集ベンチマークで優れたパフォーマンスを示し、ファインチューニングやバックプロパゲーションを必要とせず、新しい事実の効果的かつ効率的な統合が可能であることが確認された。
• 長文脈QAタスクにおいても高い正確性を維持しており、多数の更新後でも強固な知識保持が可能であることが示された。
• ほぼ100万回のメモリ更新ステップを経過後も、MemoryLLM に顕著なパフォーマンス劣化は観察されず、運用の整合性が確認された。
• 独自に設計された保持評価と長文脈ベンチマークを通じて、知識保持の著しい改善が実証された。
• メモリプールにより知識の効果的な圧縮が実現され、従来のリtrieval ベースや長文脈手法と比較して冗長性が低減した。
• 自己更新メカニズムにより、古くなった知識の段階的 forgetting が可能であり、同時に以前に保存された情報を保持することで、長期的な有用性が確保された。

(b) Self-Update