[論文レビュー] Active Example Selection for In-Context Learning

Yiming Zhang, Feng Shi+1 more|arXiv (Cornell University)|Nov 8, 2022

Topic Modeling被引用数 5

ひとこと要約

本稿では、文脈学習における強化学習に基づくアクティブな例選択手法を提案し、例選択を段階的意思決定問題として定式化することで、モデルの汎化性能を向上させることを目的としている。GPT-2において未観測のタスク全体で平均5.8%の精度向上を達成し、GPT-3 Adaではわずかな向上を示すが、より大きなGPT-3モデルでは収益逓減の傾向を示しており、大規模モデルにおける新たな能力の顕在化を示唆している。

ABSTRACT

With a handful of demonstration examples, large-scale language models show strong capability to perform various tasks by in-context learning from these examples, without any fine-tuning. We demonstrate that in-context learning performance can be highly unstable across samples of examples, indicating the idiosyncrasies of how language models acquire information. We formulate example selection for in-context learning as a sequential decision problem, and propose a reinforcement learning algorithm for identifying generalizable policies to select demonstration examples. For GPT-2, our learned policies demonstrate strong abilities of generalizing to unseen tasks in training, with a $5.8\%$ improvement on average. Examples selected from our learned policies can even achieve a small improvement on GPT-3 Ada. However, the improvement diminishes on larger GPT-3 models, suggesting emerging capabilities of large language models.

研究の動機と目的

• 文脈学習の性能の不安定さが、デモ例の選択に起因する理由を調査すること。
• 多様なタスクに一般化可能な有効なデモ例の選択戦略を開発すること。
• 強化学習が、低ショット文脈学習におけるアクティブな例選択のための体系的かつ転送可能な方策を発見できるかを調査すること。
• GPT-2とより大きなGPT-3モデルが例選択に反応する様子を比較し、顕在的能力の差を明らかにすること。
• 大規模言語モデルがどのように文脈的に情報を習得するかを解明し、大規模モデル時代の今後の研究に示唆を与えること。

提案手法

• 強化学習を用いて、アクティブな例選択を段階的意思決定問題として定式化する。
• 予測されたモデル性能に基づき、プールから反復的に未ラベル例を選択する方策ネットワークを訓練する。
• 訓練中にバリデーションセットにおける文脈学習精度に基づく報酬信号を用いる。
• 訓練済みの方策を用いて、新しいタスクや未ラベルプールの例を選択し、ゼロショット汎化を評価する。
• 段階的な学習設定を採用し、方策が徐々に複雑なタスクから学習する。
• GPT-2を用いて4ショット文脈学習で方策を検証し、未観測のタスクへの汎化性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 GPT-2において、異なるデモ例のセットを用いた場合、文脈学習の性能はどのように変動するか、特にGPT-2に関して。
• RQ2 強化学習が、多様なタスクにわたる文脈学習の向上に寄与する一般化可能な方策を発見できるか。
• RQ3 有効なデモ例の性質は、人間の直感とどのように異なるか。
• RQ4 モデルスケールに応じて、学習済み例選択による性能向上はどのように変化するか、特にGPT-2とより大きなGPT-3モデルの間で。
• RQ5 GPT-2で学習した方策がGPT-3モデルに一般化できる程度はどの程度か。また、なぜ大きなモデルでは向上が減少するのか。

主な発見

• GPT-2における文脈学習の性能は、デモ例のセットによって顕著なばらつきを示しており、情報習得の不安定性を示している。
• 提案された強化学習に基づくアクティブな例選択方策により、GPT-2では未観測タスク全体で平均5.8%の文脈学習精度向上が達成された。
• GPT-2において、ラベル付きデータセットを用いた既知のタスクでは、最大エントロピーのアクティブな学習ベースラインより12.1%の向上を達成した。
• 学習済み方策から選択された例は、GPT-3 Adaでもわずかだが測定可能な向上を示しており、学習済み選択戦略の転送可能性を示唆している。
• より大きなGPT-3モデル（例：BabbageやCurie）では、性能向上が顕著に減少しており、例の選択に依存しなくなるような顕在的能力が存在することを示唆している。
• 分析の結果、有用なデモ例はしばしば人間の直感とは異なることが判明し、効果的な文脈学習における非自明なパターンが存在することが示唆された。