[論文レビュー] In-Context Learning Learns Label Relationships but Is Not Conventional Learning

Jannik Kossen, Yarin Gal+1 more|arXiv (Cornell University)|Jul 23, 2023

Innovative Teaching and Learning Methods被引用数 4

ひとこと要約

この論文は、大規模言語モデル（LLMs）における文脈内学習（ICL）を調査し、ICLが文脈内例からのラベル関係を利用しているが、従来の学習とは異なる方法でそれを行うことを示している。確率的指標と制御実験を用いて、著者たちはICLが文脈内ラベルに依存しており、事前学習バイアスを克服できないこと、またすべての文脈内情報に対して均等に扱わないこと、すなわち従来の学習と非学習行動の中間にあることを明らかにした。

ABSTRACT

The predictions of Large Language Models (LLMs) on downstream tasks often improve significantly when including examples of the input--label relationship in the context. However, there is currently no consensus about how this in-context learning (ICL) ability of LLMs works. For example, while Xie et al. (2021) liken ICL to a general-purpose learning algorithm, Min et al. (2022) argue ICL does not even learn label relationships from in-context examples. In this paper, we provide novel insights into how ICL leverages label information, revealing both capabilities and limitations. To ensure we obtain a comprehensive picture of ICL behavior, we study probabilistic aspects of ICL predictions and thoroughly examine the dynamics of ICL as more examples are provided. Our experiments show that ICL predictions almost always depend on in-context labels and that ICL can learn truly novel tasks in-context. However, we also find that ICL struggles to fully overcome prediction preferences acquired from pre-training data and, further, that ICL does not consider all in-context information equally.

研究の動機と目的

• 大規模言語モデル（LLMs）における文脈内学習（ICL）が、単に事前学習バイアスを反映しているのではなく、文脈内ラベル関係を真正に学習しているかどうかを理解すること。
• 文脈内ラベルが事前学習時に習得した予測の好みと矛盾する場合、ICLがそのバイアスを克服できるかどうかを調査すること。
• ラベル関係が一貫しない、または矛盾する場合、ICLがすべての文脈内情報を均等に扱うかどうかを特定すること。
• 確率的指標を用いた包括的な実証的分析を通じて、正確性だけでは捉えきれない予測の信頼性の変化を明らかにすること。
• ICLが従来の学習アルゴリズムに類似した形でラベル関係を学習するかどうか、という文脈における論争を解消すること。

提案手法

• 著者たちは、ICL行動に関する重要な問いを統計的帰無仮説として再定式化し、制御実験を用いて実証的に検証した。
• ラベル情報への依存度を評価するために、文脈内ラベルをランダム化した状況でICLのパフォーマンスを評価し、対数尤度を確率的指標として用いた。
• 事前学習信号が存在しない新しいタスクを導入し、ICLが完全に新しい入力-ラベル関係を文脈内例から学習できるかをテストした。
• 文脈内例の数を体系的に変化させ、移動平均およびブートストラップ信頼区間を用いて予測ダイナミクスを分析した。
• 推論中にラベル関係を操作（例：変化点でラベルを反転）することで、ICLがすべての文脈内情報に対して均等に扱うかどうかをテストした。
• SST-2、AG News、RTEなど多様なNLPタスクにおいて、LLaMA、Falcon、LLaMA-2などの複数のLLMを比較し、一般化可能性を確保した。

実験結果

リサーチクエスチョン

• RQ1 ICLは文脈内例の条件付きラベル分布に依存しているのか、それともそのラベルとは独立しているのか？
• RQ2 文脈内ラベルが事前学習時の好みと矛盾する場合、ICLはそのバイアスを克服できるのか？
• RQ3 ICLはすべての文脈内情報を均等に扱うのか、それともクエリに近い情報に優先的に反応するのか？
• RQ4 対数尤度のような確率的指標は、正確性だけでは捉えきれないICLのダイナミクスをどのように明らかにするのか？
• RQ5 ICLは、従来の学習アルゴリズムと類似した形でラベル関係を学習するのか、その程度はどの程度か？

主な発見

• ICLの予測は文脈内ラベルに強く依存している：ラベルをランダム化すると、LLaMA-2-70Bでは全タスクで平均対数尤度が最大-0.995低下し、ラベル依存性が確認された。
• ICLは文脈内例からまったく新しいタスクを学習できる：事前学習信号が存在しないタスクでパフォーマンスが向上したことで、真正の文脈内学習能力が示された。
• ICLは事前学習バイアスを克服できない：文脈内ラベルが事前学習時の好みと矛盾する場合、追加のプロンプトを加えてもパフォーマンスは頭打ちとなり回復しない。
• ICLはすべての文脈内情報に均等に反応しない：ラベル関係を反転または交互にした場合、予測は変化点に依存して顕著に異なることが示され、最近または近接した例に優先的に依存していることがわかった。
• 確率的指標により、正確性では反映されない予測の信頼性の大きな変化が明らかになった。これは、ICL分析において尤度ベースの評価が重要であることを示唆している。
• LLaMA-2-70Bモデルは最も顕著なラベル依存性を示し（対数尤度低下-0.995）、LLaMA-7Bのような小型モデルでも弱いが依然として有意な依存性を示した。