[論文レビュー] Aspects of human memory and Large Language Models

Romuald A. Janik|arXiv (Cornell University)|Nov 7, 2023

Topic Modeling被引用数 4

ひとこと要約

この論文は、大規模言語モデル（LLMs）における記憶に類似した挙動を調査し、専用の記憶アーキテクチャを持たないにもかかわらず、人間の記憶現象——例えば優位効果（primacy）と最近効果（recency）——を示すことを発見した。これらの特性は、訓練データ内の統計的パターンから生じており、人間の物語構造が私たちの書き方を通じて言語モデルに刷り込まれていることを示唆している。アーキテクチャそのものではなく、記述の仕方によるものである。

ABSTRACT

Large Language Models (LLMs) are huge artificial neural networks which primarily serve to generate text, but also provide a very sophisticated probabilistic model of language use. Since generating a semantically consistent text requires a form of effective memory, we investigate the memory properties of LLMs and find surprising similarities with key characteristics of human memory. We argue that the human-like memory properties of the Large Language Model do not follow automatically from the LLM architecture but are rather learned from the statistics of the training textual data. These results strongly suggest that the biological features of human memory leave an imprint on the way that we structure our textual narratives.

研究の動機と目的

• 大規模言語モデル（LLMs）が人間の短期記憶に類似した記憶的挙動を示すかどうかを調査すること。
• これらの記憶的特性がアーキテクチャ的設計由来であるのか、それとも訓練データ内の統計的規則性由来であるのかを特定すること。
• 人間の生物学的記憶が物語の構造を形作り、その痕跡が言語モデルに検出可能に残っているという仮説を検証すること。
• 系列想起と干渉効果に注目し、LLMsの記憶パフォーマンスを人間の記憶実験と比較すること。
• LLMsに顕在する記憶的特性が、トランスフォーマー・アーキテクチャのインダクティブ・バイアス由来か、それとも言語統計から学習されたものかを評価すること。

提案手法

• GPT-J（6Bパラメータ）という大規模言語モデルを用いて、20個の「has-a」型の事実のリストを用いた系列記憶実験を実施し、想起の正確性を測定した。
• リスト内の異なる位置における想起パフォーマンスを測定し、初期項目（優位効果）と最終項目（最近効果）の想起に注目した。
• 同一エンティティに関する矛盾する事実を導入することで、意味的干渉の影響を分析し、想起の低下を評価した。
• トランスフォーマー・アーキテクチャに組み込まれた位置埋め込み（positional embeddings）を用いて、アーキテクチャ的要因が記憶効果を説明できるかを検証した。
• モデル規模と訓練レジームの役割を分離するために、GPT-Jと比較してより小さいモデル（例：Pythia-70m）を用いた。
• 記憶形成時間の影響を評価するために、クエリとターゲット事実との間の距離を変化させ、想起正確性の傾向を観察した。

実験結果

リサーチクエスチョン

• RQ1 大規模言語モデル（LLMs）は、人間の記憶に類似した系列想起タスクにおいて、優位効果と最近効果を示すか？
• RQ2 LLMsで観察された記憶に類似した挙動は、アーキテクチャ的インダクティブ・バイアス（例：位置埋め込み）由来か、それとも訓練データからの学習由来か？
• RQ3 意味的干渉はLLMsの想起正確性にどのように影響するか？これは人間の干渉による忘却と類似しているか？
• RQ4 記憶効果の顕在化はモデルサイズと訓練レジームに依存するか？これは、学習された特性がアーキテクチャ的特性よりも優位であることを示唆するか？
• RQ5 人間が書いた物語の統計的構造は、LLMs内の確率的言語モデルにどの程度影響を与えているか？

主な発見

• GPT-Jはリスト内の位置に応じてU字型の想起曲線を示し、人間の記憶パターンと類似した優位効果と最近効果を確認した。
• 最近効果は、より小さいPythia-70mモデルでは観察されず、これはこの現象が大規模かつ複雑なモデルにのみ顕在することを示唆している。
• ターゲット事実からの距離が増加するにつれて想起正確性が最初に向上する傾向が見られたが、これは位置埋め込みに基づくアーキテクチャ的バイアス仮説に反する。
• 同一エンティティに関する複数の事実が存在する場合、意味的干渉が著しく想起正確性を低下させた。これは、忘却に干渉が果たす役割を支持する。
• LLMsにおける記憶に類似した挙動は、トランスフォーマー・アーキテクチャそのものによって直接誘発されているのではなく、訓練データ内の統計的規則性から学習されたものである。
• 結果から、人間の生物学的記憶が物語構造に検出可能な統計的痕跡を残しており、それがLLMsの訓練過程で内部化されていることが示唆された。