[論文レビュー] When does In-context Learning Fall Short and Why? A Study on Specification-Heavy Tasks

Hao Peng, Xiaozhi Wang+9 more|arXiv (Cornell University)|Nov 15, 2023

Topic Modeling被引用数 5

ひとこと要約

この論文は、詳細な指示を要する複雑なNLPタスク（仕様中心のタスク）において、事前学習した大規模言語モデル（LLM）がイン・コンテキスト・ラーニング（ICL）に失敗する理由を調査している。LLMは一般化能力に優れているが、こうしたタスクでは性能を発揮できない。著者らは、主に3つの要因を同定した：文脈に特化した理解の不足、タスクスキーマの理解の不整合、長文脈における推論能力の制限。微調整により性能が著しく向上することから、制限はLLM自体のものではなく、ICLが複雑な仕様と整合しないことにあることが示された。

ABSTRACT

In-context learning (ICL) has become the default method for using large language models (LLMs), making the exploration of its limitations and understanding the underlying causes crucial. In this paper, we find that ICL falls short of handling specification-heavy tasks, which are tasks with complicated and extensive task specifications, requiring several hours for ordinary humans to master, such as traditional information extraction tasks. The performance of ICL on these tasks mostly cannot reach half of the state-of-the-art results. To explore the reasons behind this failure, we conduct comprehensive experiments on 18 specification-heavy tasks with various LLMs and identify three primary reasons: inability to specifically understand context, misalignment in task schema comprehension with humans, and inadequate long-text understanding ability. Furthermore, we demonstrate that through fine-tuning, LLMs can achieve decent performance on these tasks, indicating that the failure of ICL is not an inherent flaw of LLMs, but rather a drawback of existing alignment methods that renders LLMs incapable of handling complicated specification-heavy tasks via ICL. To substantiate this, we perform dedicated instruction tuning on LLMs for these tasks and observe a notable improvement. We hope the analyses in this paper could facilitate advancements in alignment methods enabling LLMs to meet more sophisticated human demands.

研究の動機と目的

• 仕様中心のタスク（詳細な指示を要する複雑なNLPタスク）におけるイン・コンテキスト・ラーニング（ICL）の限界を調査すること。
• こうしたタスクにおいてICLが低性能を示す根本的原因を、微調整済みモデルと比較して特定すること。
• 失敗の原因がLLM自体の本質的限界にあるのか、それとも現在のアライメント手法の欠陥にあるのかを特定すること。
• 微調整が、こうした複雑なタスクにおけるICLと最先端の結果との性能ギャップを縮められるかどうかを評価すること。

提案手法

• 6つの大規模言語モデルを、イベント検出や関係抽出を含む18の仕様中心のタスクで評価し、少数の例を用いたイン・コンテキスト・ラーニングを適用した。
• 失敗モードを診断するための包括的な誤差分析を実施し、文脈理解、スキーマの不整合、長文脈理解の3点に焦点を当てた。
• 各タスクに対してFLAN-UL2（20Bパラメータ）を微調整することで、微調整下でのLLM性能の上限を評価した。
• 複数のモデルスケールを用いてICL性能と微調整済みモデルの性能を体系的に比較し、スケーリング特性を評価した。
• タスク定義が不十分な状況下でのモデル行動を分析し、人間の定義とのスキーマ理解の整合性を評価した。
• 制御されたプロンプトの変更（例：'was arrested' を 'arrived' に変更）を用いて、文脈の詳細に敏感かどうかをテストした。

Figure 1: An example specification-heavy task: ACE 2005 event detection. This task involves heavy specifications which would take ordinary humans substantial time to learn. Therefore, solving the task using LLMs with in-context learning is challenging.

実験結果

リサーチクエスチョン

• RQ1 一般化能力に優れるにもかかわらず、なぜイン・コンテキスト・ラーニングは仕様中心のタスクで性能を発揮できないのか？
• RQ2 複雑で長大な仕様を伴うタスクにICLを適用する際、LLMが示す主な失敗モードは何か？
• RQ3 微調整によって、ICLと最先端の結果との性能ギャップをどの程度縮められるか？
• RQ4 ICLの低性能は、LLMの本質的限界に起因するのか、それとも現在のアライメント技術の欠陥に起因するのか？
• RQ5 モデルスケールは、仕様中心のタスクにおける微調整済みモデルの性能にどのように影響するか？

主な発見

• 18の仕様中心のタスクにおけるICL性能は、微調整済みの小規模モデルが達成する最先端の結果の50％未満にとどまった。
• LLMは特定の文脈的詳細を理解できず、しばしば提供された文脈ではなく内部知識に依存していた。
• 多くの誤りは、タスクスキーマの理解の不整合に起因しており、例として「BUSINESS」を「TRANSACTION」と誤分類するような事例が多かった。
• LLMは長文脈の理解に不十分で、長大なタスク仕様を処理・活用する能力に欠けており、これにより仕様が不十分な状況の問題が悪化した。
• 各タスクに対してFLAN-UL2を微調整することで、既存の最先端の結果と同等の性能向上が達成された。これは、LLMが適切にアライメントされれば、こうしたタスクを習得可能であることを示している。
• 明確な正のスケーリング効果が観察された：より大きなモデルは、仕様中心のタスクにおいてより良い微調整性能を示した。これは、能力そのものは存在するが、ICLだけではその能力が引き出されないことを確認した。

Figure 2: Error types with proportions from GPT-4. “ Unspecific Context Understanding ” means the lack of specific context understanding. “ Misaligned Schema Understanding ” represents LLMs’ understanding of task schema is not fully aligned with humans. “ Instruction Following ” represents LLMs do n