[論文レビュー] Large Language Models with Controllable Working Memory

Daliang Li, Ankit Singh Rawat+6 more|arXiv (Cornell University)|Nov 9, 2022

Topic Modeling被引用数 5

ひとこと要約

本稿では、記憶された世界知識よりもタスク関連の文脈を優先させるように訓練することで、大規模言語モデルの制御性と耐性を向上させる、知識認識微調整（KAFT）を提案する。KAFTは、微調整中に反事後的および無関係な文脈の拡張を用いることで、標準的なパフォーマンスを損なうことなく、矛盾するまたは混乱を招く入力に対してもモデルの挙動を著しく改善する。

ABSTRACT

Large language models (LLMs) have led to a series of breakthroughs in natural language processing (NLP), owing to their excellent understanding and generation abilities. Remarkably, what further sets these models apart is the massive amounts of world knowledge they internalize during pretraining. While many downstream applications provide the model with an informational context to aid its performance on the underlying task, how the model's world knowledge interacts with the factual information presented in the context remains under explored. As a desirable behavior, an LLM should give precedence to the context whenever it contains task-relevant information that conflicts with the model's memorized knowledge. This enables model predictions to be grounded in the context, which can then be used to update or correct specific model predictions without frequent retraining. By contrast, when the context is irrelevant to the task, the model should ignore it and fall back on its internal knowledge. In this paper, we undertake a first joint study of the aforementioned two properties, namely controllability and robustness, in the context of LLMs. We demonstrate that state-of-the-art T5 and PaLM (both pretrained and finetuned) could exhibit poor controllability and robustness, which do not scale with increasing model size. As a solution, we propose a novel method - Knowledge Aware FineTuning (KAFT) - to strengthen both controllability and robustness by incorporating counterfactual and irrelevant contexts to standard supervised datasets. Our comprehensive evaluation showcases the utility of KAFT across model architectures and sizes.

研究の動機と目的

• 大規模言語モデル（LLM）が記憶された世界知識とタスク固有の文脈の間に矛盾する場合、どのように対処するかを調査すること。
• T5 や PaLM のような最先端の LLM で、規模が大きくても制御性と耐性に欠けることが同定されること。
• 内部知識と矛盾する際、文脈を正しく優先できるように、LLM にその方法を学習させる手法の開発。
• 標準ベンチマークでのパフォーマンスを低下させることなく、モデル挙動を強化する微調整アプローチの構築。

提案手法

• KAFTは、標準的な教師ありデータセットに、記憶された知識と矛盾する反事後的文脈と、タスクとは無関係な無関係な文脈を追加することで、データ拡張を導入する。
• この拡張済みデータセット上で LLM を微調整し、文脈が関連している場合には記憶された知識を抑制し、無関係な文脈は無視するように学習させる。
• モデルが文脈に一致する回答を生成するよう促す損失関数を用いて訓練を行う。これは、モデルの事前学習済み知識と矛盾する場合でも有効である。
• このアプローチは、T5 および PaLM アーキテクチャの複数のサイズに適用され、540B パラメータのモデルを含む。
• KAFT は再訓練や重み編集を必要とせず、代わりに推論時にアクティベーションパターンを変更することで文脈制御を実現する。
• 評価には、反事後的拡張と文脈の関連性フィルタリングを用いた TriviaQA が用いられ、制御性と耐性への影響を分離して評価する。

実験結果

リサーチクエスチョン

• RQ1 大規模言語モデルは、記憶された世界知識と文脈が矛盾する場合に、文脈を優先するように効果的に訓練可能か？
• RQ2 矛盾するまたは無関係な文脈が存在する状況で、モデルサイズは制御性と耐性にどのように影響するか？
• RQ3 一度の微調整手順で、制御性と耐性の両方を向上させつつ、標準パフォーマンスを低下させないか？
• RQ4 反事後的および無関係な文脈によるデータ拡張は、モデル挙動の改善にどの程度寄与するか？
• RQ5 事実として正しいか、意味的に関連しているように見える無関係な文脈でも、モデルがそれを無視できるように訓練可能か？

主な発見

• KAFT により、閉形式回答と反事後的回答の一致率が、PaLM 540B で 0.6% から 0.7% に低下し、誤った回答への記憶が最小限に抑えられていることが示された。
• PaLM 62B では、ヘッド反事後的質問における制御性が 1.4% から 1.3% に向上し、一貫した改善が確認された。
• T5 XXL では、制御性が 6.6% から 6.8% に向上し、モデルサイズにかかわらず有効であることが示された。
• TriviaQA データをトレーニング時に除外した KAFT でも、T5 XXL で 52%、PaLM 62B で 69% の制御性を達成し、ノイズの多い微調整を上回った。
• 標準指標でのパフォーマンスは保持したまま、文脈制御のシナリオにおける挙動が著しく改善された。
• TriviaQA データにアクセスできない状況でも KAFT は高い制御性を達成しており、データ分布の変化に対して頑健であることが示唆された。