[論文レビュー] Meta-in-context learning in large language models

Julian Coda-Forno, Marcel Binz+4 more|arXiv (Cornell University)|May 22, 2023

Machine Learning and Data Classification被引用数 6

ひとこと要約

本稿では、パラメータ更新なしに複数の過去のタスクから学習することで、大規模言語モデル（LLMs）が自己の文脈内学習能力を段階的に向上させる「メタ文脈内学習」を導入する。このアプローチはモデルの事前分布と学習戦略を再設計し、実世界の回帰ベンチマークで競争力ある性能を達成する。これはLLMsが文脈学習のみで環境に適応可能であることを示している。

ABSTRACT

Large language models have shown tremendous performance in a variety of tasks. In-context learning -- the ability to improve at a task after being provided with a number of demonstrations -- is seen as one of the main contributors to their success. In the present paper, we demonstrate that the in-context learning abilities of large language models can be recursively improved via in-context learning itself. We coin this phenomenon meta-in-context learning. Looking at two idealized domains, a one-dimensional regression task and a two-armed bandit task, we show that meta-in-context learning adaptively reshapes a large language model's priors over expected tasks. Furthermore, we find that meta-in-context learning modifies the in-context learning strategies of such models. Finally, we extend our approach to a benchmark of real-world regression problems where we observe competitive performance to traditional learning algorithms. Taken together, our work improves our understanding of in-context learning and paves the way toward adapting large language models to the environment they are applied purely through meta-in-context learning rather than traditional finetuning.

研究の動機と目的

• 大規模言語モデル（LLMs）がパラメータ更新なしに、自身の文脈内学習能力を文脈内学習そのものによって向上させられるかどうかを調査すること。
• メタ文脈内学習が人工的および実世界の学習領域におけるモデルの事前分布と学習戦略にどのように影響を与えるかを理解すること。
• 従来の学習アルゴリズムと比較して、実世界の回帰問題のベンチマークにおいてメタ文脈内学習の有効性を評価すること。
• 特にタスクの類似性とシーケンス長に着目して、メタ文脈内学習が最も効果を発揮する条件を探索すること。

提案手法

• LLMsに、1つの文脈内に複数の学習タスク（例：回帰および2腕のバンディットタスク）の系列を提示することで、メタ文脈内学習を実現した。
• タスク類似度を測定するため、ラジアル基底関数カーネルを用いて現在のタスクと以前に観測されたタスクとの類似度を計算し、その性能への影響を分析した。
• 42のデータセットと1データセットあたり50回のシミュレーションを含む実世界の回帰ベンチマークでモデルを訓練および評価し、RMSEと予測範囲の正確さを測定した。
• タスク系列に伴う事前期待値および文脈内学習戦略の変化を観察することで、モデル行動を分析した。
• GPT-3とGPT-4の両モデルで同じタスクに対する性能を比較し、メタ文脈内学習のモデルに依存しない影響を評価した。
• 線形回帰を用いて試行回数とタスク類似度がRMSEに与える影響を定量化し、メタ文脈内学習の主な駆動要因を同定した。

実験結果

リサーチクエスチョン

• RQ1 大規模言語モデル（LLMs）が、パラメータ更新なしに、過去の学習タスクの系列にさらされることで、文脈内学習のパフォーマンスを向上させられるか。
• RQ2 メタ文脈内学習は、人工的ドメインにおける潜在タスク分布に関するモデルの事前信念にどのように影響を与えるか。
• RQ3 メタ文脈内学習は、文脈内学習中にLLMsが採用する学習戦略を変化させるか。
• RQ4 現在のタスクと以前に観測されたタスクとの類似度が、メタ文脈内学習の有効性にどの程度影響を与えるか。
• RQ5 メタ文脈内学習は、従来の機械学習手法と同等の性能を実世界の回帰ベンチマークで達成できるか。

主な発見

• メタ文脈内学習は、複数のタスクにおいて文脈内学習パフォーマンスを顕著に向上させ、試行回数がRMSEに強い負の影響を与えた（β = -0.089, p < 0.001）。
• タスク類似度はRMSEに顕著な負の影響を与えた（β = -0.147, p < 0.001）、これは、過去のタスクと類似度が高いほどメタ文脈内学習の有効性が高まることを示している。
• メタ文脈内学習は、モデルの潜在変数に関する事前分布を適応的に再設計し、人工ドメインでは環境の真の統計と密接に一致させるようになった。
• このアプローチは、静的なプロンプト設計をはるかに超える動的な適応を示す、LLMの文脈内学習戦略を変化させた。
• 実世界の回帰ベンチマークにおいて、メタ文脈内学習によりGPT-3は競争力ある性能を達成し、予測値が妥当な範囲に制限された。
• GPT-4はメタ文脈内学習効果を再現したが、同じベンチマークではGPT-3よりわずかに性能が低く、メタ学習能力にモデル固有の差異があることを示唆している。