[論文レビュー] Large Language Model Is Not a Good Few-shot Information Extractor, but a Good Reranker for Hard Samples!

Yubo Ma, Yixin Cao+2 more|arXiv (Cornell University)|Mar 15, 2023

Topic Modeling被引用数 5

ひとこと要約

この論文は、大規模言語モデル（LLMs）が、微調整された小規模言語モデル（SLMs）と比較して少サンプル情報抽出器として効果的でないことを示している一方で、SLMsが見逃す難しいサンプルの再順序付けにおいて優れた性能を発揮することを明らかにした。著者らは、SLMsをフィルタとして、LLMsを再順序付け者として用いるフィルタ・トゥ・リランクフレームワークを提案し、最小限の遅延とコスト増加で複数の少サンプルIEタスクにおいて一貫してF1スコアが2.4%向上することを達成した。

ABSTRACT

Large Language Models (LLMs) have made remarkable strides in various tasks. Whether LLMs are competitive few-shot solvers for information extraction (IE) tasks, however, remains an open problem. In this work, we aim to provide a thorough answer to this question. Through extensive experiments on nine datasets across four IE tasks, we demonstrate that current advanced LLMs consistently exhibit inferior performance, higher latency, and increased budget requirements compared to fine-tuned SLMs under most settings. Therefore, we conclude that LLMs are not effective few-shot information extractors in general. Nonetheless, we illustrate that with appropriate prompting strategies, LLMs can effectively complement SLMs and tackle challenging samples that SLMs struggle with. And moreover, we propose an adaptive filter-then-rerank paradigm to combine the strengths of LLMs and SLMs. In this paradigm, SLMs serve as filters and LLMs serve as rerankers. By prompting LLMs to rerank a small portion of difficult samples identified by SLMs, our preliminary system consistently achieves promising improvements (2.4% F1-gain on average) on various IE tasks, with an acceptable time and cost investment.

研究の動機と目的

• 微調整されたSLMsと比較して、LLMsが多様なIEタスクにおいて少サンプル情報抽出器として効果的かどうかを評価すること。
• 少サンプル設定やデータ不足の程度が異なる状況下で、LLMsとSLMsの性能格差を調査すること。
• 特にSLMsの能力を超える難しいサンプルにおいて、LLMsがSLMsを上回る理由を特定すること。
• LLMsとSLMsの長所を活かしたハイブリッドフレームワークを設計し、少サンプルIEのパフォーマンスを向上させること。

提案手法

• 著者らは、命名体験認識（NER）、関係抽出、イベント検出、イベント引数抽出の4つのIEタスクをカバーする9つのデータセットを用い、LLMsのゼロショット・コンテキスト学習と、微調整されたSLMsを比較した。
• LLMsの評価には、指示設計、サンプル数、選択戦略、プロンプト形式を変化させたさまざまなプロンプト戦略を用い、そのロバストネスと感度を評価した。
• SLMsの信頼度スコアに基づいてサンプルを難易度別に分類し、LLMsの容易なサンプルと難しいサンプルにおけるパフォーマンス分析を可能にした。
• 新規のフィルタ・トゥ・リランクフレームワークを提案した：SLMsが最初にラベルを予測し、容易なサンプルをフィルタリングする。残りの難しいサンプルは、ターゲットプロンプトを用いてLLMsが再順序付けする。
• SLMsが予測した上位-N個の候補ラベルのみをLLMsに供給することで、推論コストと遅延を最小限に抑えた。
• 最終的な予測は、容易なサンプルについてはSLMsの出力、難しいサンプルについてはLLMsによる再順序付け出力を組み合わせることで、相補的な強みを活かした。

Figure 1: Examples of prompts used. The green, blue and black parts in the top boxes represent the instruction, demonstration (demo) and test sentence in the prompt respectively. The red parts represent the outputs from LLMs. We plot only 1 example for convenience of visualization. The actual demo n

実験結果

リサーチクエスチョン

• RQ1 微調整されたSLMsと比較して、LLMsは多様な低リソースIEタスクにおいて少サンプル情報抽出器として競争力を持つのか？
• RQ2 SLMsの信頼度スコアに基づく難易度分類において、LLMsのパフォーマンスは容易なサンプルと難しいサンプルでどのように変化するか？
• RQ3 LLMsは強力な推論能力を持つにもかかわらず、なぜ容易なサンプルでは性能が低く、高い偽陽性率を示すのか？
• RQ4 SLMsが特定した最も困難なサンプルのみをLLMsが再順序付けすることで、SLMsのパフォーマンスを効果的に向上させられるか？
• RQ5 コストと遅延を許容範囲に抑えた状態でF1スコアを最大限に高める最適なハイブリッドフレームワークは何か？

主な発見

• LLMsは9つのデータセットおよび4つのタスクにわたり、微調整されたSLMsに比べて一貫して少サンプル情報抽出において劣位にあり、特に100件を超える訓練データがある状況で顕著である。
• LLMsはSLMsと比較して顕著に高い推論遅延とコストを示し、一般の少サンプルIEには非効率である。
• LLMsはSLMsが誤分類する「難しいサンプル」において優れたパフォーマンスを発揮するが、これは推論力と知識の活用によるものである。一方で、容易なサンプルでは困難をきたす。
• LLMsは容易なネガティブサンプルにおいて高い偽陽性率を示し、これが容易な例における全体的なパフォーマンスの低下を引き起こしている。
• 提案されたフィルタ・トゥ・リランクフレームワークは、SLMsが特定した困難なサンプルにのみLLMsを適用することで、タスク全体で平均してF1スコアが2.4%向上した。
• フレームワークは、再順序付け対象を少数のサンプルに限定することで追加コストと遅延を低く抑え、少サンプルIEにおいて効果的かつ効率的であることが証明された。

(a) Named Entity Recognition (NER)