[論文レビュー] Thinking about GPT-3 In-Context Learning for Biomedical IE? Think Again

Bernal Jiménez Gutiérrez, Nikolas McNeal+5 more|arXiv (Cornell University)|Mar 16, 2022

Topic Modeling被引用数 8

ひとこと要約

本研究では、真の少サンプル設定下で、GPT-3のコンテキスト内学習と、生物医学的情報抽出タスク（NERおよびRE）におけるBERTサイズのモデルの微調整を体系的に比較した。プロンプト工学、kNN検索、キャリブレーション技術でGPT-3を最適化しても、微調整された小規模PLMは一貫して優れた性能を示し、データ量が増えるにつれてその差が顕著になる。これは、nullケースの処理やリソースが限られた状況における根本的な制限を示している。

ABSTRACT

The strong few-shot in-context learning capability of large pre-trained language models (PLMs) such as GPT-3 is highly appealing for application domains such as biomedicine, which feature high and diverse demands of language technologies but also high data annotation costs. In this paper, we present the first systematic and comprehensive study to compare the few-shot performance of GPT-3 in-context learning with fine-tuning smaller (i.e., BERT-sized) PLMs on two highly representative biomedical information extraction tasks, named entity recognition and relation extraction. We follow the true few-shot setting to avoid overestimating models' few-shot performance by model selection over a large validation set. We also optimize GPT-3's performance with known techniques such as contextual calibration and dynamic in-context example retrieval. However, our results show that GPT-3 still significantly underperforms compared to simply fine-tuning a smaller PLM. In addition, GPT-3 in-context learning also yields smaller gains in accuracy when more training data becomes available. Our in-depth analyses further reveal issues of the in-context learning setting that may be detrimental to information extraction tasks in general. Given the high cost of experimenting with GPT-3, we hope our study provides guidance for biomedical researchers and practitioners towards more promising directions such as fine-tuning small PLMs.

研究の動機と目的

• 真の少サンプル条件下で、GPT-3のコンテキスト内学習が生物医学的情報抽出（IE）タスクに実用的かどうかを評価すること。
• 命名エンティティ認識（NER）および関係抽出（RE）という2つの主要なIEタスクにおいて、GPT-3のコンテキスト内学習の少サンプル性能を、BERTサイズの事前学習言語モデル（PLM）の微調整と比較すること。
• 最近の最適化技術（プロンプト設計、kNN例検索、文脈的キャリブレーションなど）が、生物医学的IEにおけるGPT-3と微調整PLMの性能差を縮小できるかどうかを調査すること。
• コンテキスト内学習の本質的制限、特にnullクラス（例：エンティティなしの文や関係なしのペア）の処理における困難さが、一般IE性能に与える影響を分析すること。
• 低リソースな生物医学的IEニーズに応じて、微調整をコンテキスト内学習よりも優先すべきであるという、実務的かつ実行可能なガイダンスを生物医学研究者および実務家に提供すること。

提案手法

• 過剰評価を避けるために、100ショットの訓練セットに対して交差検証を用いてモデルおよびプロンプト選定を行う真の少サンプル設定（Perez et al., 2021）を採用した。
• タスクをシーケンス・トゥ・シーケンス生成に再定式化することで、NERおよびRE用の体系的なプロンプトテンプレートを設計した。構造化されたフォーマットを用い、タスク指示、文の入力、例示のデモンストレーションを含めた。
• 文の埋め込みに基づいて、文脈内での最も関連性の高い例を動的に検索するk近傍法（kNN）モジュールを実装し、少サンプル一般化を向上させた。
• NERでは、出力トークンを入力文に存在するものに制限するためのロジットバイアスを適用し、幻覚を低減させ、トークンレベルの正確性を向上させた。
• REでは、文脈的キャリブレーション（Zhao et al., 2021）を適用し、特定の関係に偏るモデルバイアスを軽減することで、関係予測の公平性と信頼性を向上させた。
• 各最適化技術（プロンプト設計、検索、キャリブレーション）の有効性を検証するためのアブレーションスタディを実施した。

実験結果

リサーチクエスチョン

• RQ1 真の少サンプル設定下で、GPT-3のコンテキスト内学習は、生物医学的NERおよびREタスクにおいて微調整されたBERTサイズのPLMを上回るか？
• RQ2 最近の最適化技術（プロンプト設計、kNN検索、文脈的キャリブレーションなど）は、GPT-3のコンテキスト内学習性能をどの程度向上できるか？
• RQ3 訓練データ量の増加に伴って、コンテキスト内学習の性能はどのようにスケーリングするか？また、この状況下で微調整モデルと比較するとどうなるか？
• RQ4 コンテキスト内学習にはどのような本質的制限があるのか、特にエンティティなしの文や関係なしのペアといったnullケースの処理における困難さが顕著である。
• RQ5 低リソースな生物医学的情報抽出タスクにおいて、コンテキスト内学習は微調整の代替手段として実用的かつコスト効率が良いと見なせるか？

主な発見

• GPT-3のコンテキスト内学習でさえ、高度な技術で最適化されても、すべての評価対象の生物医学的NERおよびREデータセットにおいて、微調整されたBERTサイズのPLMに一貫して劣る性能を示した。
• GPT-3のコンテキスト内学習は、訓練データ量の増加に伴って顕著な性能向上を示さない一方で、微調整モデルはデータスケールに応じて安定的かつ信頼性のある改善を示した。
• コンテキスト内学習はnullクラスの処理に苦労する：NERでは、エンティティのない文に誤ってエンティティを予測する（偽陽性）ことが頻発し、REでは、関係がないにもかかわらず関係を予測する傾向がある。これはゼロショット一般化における根本的な欠陥を示している。
• プロンプト最適化、kNN検索、文脈的キャリブレーションを適用しても、GPT-3のコンテキスト内学習と微調整モデルとの性能差は依然として大きく、現在の技術ではその差を埋めるのに不十分である。
• アブレーションスタディにより、各最適化技術（プロンプト設計、検索、キャリブレーション）がGPT-3の性能を向上させることは確認されたが、それらを組み合わせても、微調整された小規模PLMの頑健さと正確性には及ばない。
• 本研究は、低リソースな状況下での生物医学的IEにおいて、微調整された小規模PLMの使用が、GPT-3のコンテキスト内学習よりも実用的で信頼性が高く、コスト効率に優れた戦略であるという実証的証拠を提供した。