[論文レビュー] From Static to Dynamic: A Continual Learning Framework for Large Language Models

Mingzhe Du, Anh Tuan Luu+2 more|arXiv (Cornell University)|Oct 22, 2023

Topic Modeling被引用数 4

ひとこと要約

DynaMindは、パラメータの微調整を伴わずに、知識の動的統合を可能にする継続的学習フレームワークであり、知識の保存・取得のためのメモリマネージャーと推論のためのモジュラーオペレータを備えている。これは、複雑な推論（GPT-4を用いて最大92.5％の正確性）、信頼性認識（5エポック後84.5％の信頼比）、知識操作（削除も含む）において、大規模言語モデル（LLM）の性能を顕著に向上させる。Falcon-40Bは74.0／100のスコアを達成した。

ABSTRACT

The vast number of parameters in large language models (LLMs) endows them with remarkable capabilities, allowing them to excel in a variety of natural language processing tasks. However, this complexity also presents challenges, making LLMs difficult to train and inhibiting their ability to continuously assimilate new knowledge, which may lead to inaccuracies in their outputs. To mitigate these issues, this paper presents DynaMind, a novel continual learning framework designed for LLMs. DynaMind incorporates memory mechanisms to assimilate new knowledge and modular operators to enhance the model inference process with the newly assimilated knowledge, consequently improving the accuracies of LLMs' outputs. Benchmark experiments demonstrate DynaMind's effectiveness in overcoming these challenges. The code and demo of DynaMind are available on GitHub: https://github.com/Elfsong/DynaMind.

研究の動機と目的

• 事前学習後、継続的に新しい知識を学習できないという大規模言語モデル（LLM）の静的特性を是正すること。
• モデルパラメータの微調整なしに、知識の動的統合を可能にすることで、LLMにおける深刻な忘却と誤った生成（ホールーシュレーション）を克服すること。
• メモリアugmentedでモジュラーベースの推論アーキテクチャを採用し、人間と同様の継続的学習能力をLLMに与えること。
• LLMが長期記憶内において、知識の信頼性を評価し、知識の作成・更新・削除を自律的に行えるようにすること。
• フレームワークの有効性を、複雑な推論、信頼性認識、知識操作という3つのコアな能力において実証すること。

提案手法

• 推論エンジン、メモリマネージャー、モジュラーオペレータの3要素からなるアーキテクチャを導入し、動的知識統合を可能にする。
• 推論エンジンでFIFO（先入れ先出し）優先順位キューを用い、オペレータの実行順序を管理し、タスクの流れを維持する。
• 文脈的関連性と信頼性スコアに基づいて、知識の保存・取得・更新を行うメモリ機構を実装する。
• 構造化されたテンプレートを用いたプロンプト工学により、LLM出力から解釈可能なコマンドタプル（オペレータ、パラメータ）を生成する。
• 反事実検証を用いて、知識の信頼性を反復的に評価・精錬する「知識代謝プロセス」を適用する。
• 外部知識源（例：WikiNews、SciFact、ComplexWebQA）を用い、新しい知識を注入し、統合性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 パラメータフリーの継続的学習フレームワークは、動的に取得した知識を用いて、LLMの複雑でマルチホップな推論能力を向上させることができるか？
• RQ2 DynaMindは、長期記憶内に格納された知識の信頼性を、どの程度自律的に評価・向上させることができるか？
• RQ3 DynaMindは、LLMのパラメータを変更せずに、知識の作成・更新・削除をどの程度効果的に支援できるか？
• RQ4 メモリアugmented推論により、DynaMindはホローシュレーションを軽減し、出力の事実整合性を向上させることができるか？
• RQ5 GPT-4、Falcon-40B、Llama-30Bなどの異なるLLMにおいて、DynaMindの継続的学習タスクにおける性能はどのように比較されるか？

主な発見

• DynaMindを用いることで、OpenAIのGPT-4は複雑な知識駆動型推論（ComplexWebQA）で92.5％の正確性を達成した。外部メモリなしでは16.0％にとどまっていた。
• 5エポックの知識代謝を経て、GPT-4は反事実的文のうち84.5％で元の文を正しく識別した。信頼性認識能力の強さが裏付けられた。
• Falcon-40BはGPT-4よりも知識削除の能力に優れ、74.0／100のスコアを記録した（GPT-4は71.5）。知識の除去能力が優れていることが示された。
• DynaMindにより、Falcon-40Bは知識推論タスクで85.0％の正確性を達成した。メモリ拡張なしでは17.5％にとどまっていた。
• フレームワークにより、LLMが推論時に保存済みの文脈的関連性の高い知識を想起し、推論に活用できるようになったため、ホローシュレーションが減少した。
• モデルサイズが4分の1に縮小されたにもかかわらず、Falcon-40Bは3エポックでGPT-3.5と同等の信頼性認識性能（72.5％ vs. 48.5％）を達成した。これは、効率性の向上を示している。