[論文レビュー] AI on AI: Exploring the Utility of GPT as an Expert Annotator of AI Publications

Autumn Toney-Wails, Christian Schoeberl+1 more|arXiv (Cornell University)|Mar 14, 2024

Explainable Artificial Intelligence (XAI)被引用数 4

ひとこと要約

この論文は、プロンプト工学を用いて、GPT モデルを AI 研究論文の分類の専門的アノテーターとして評価し、94% の正確性を達成した。これは微調整された SPECTER モデル（96%）と同等の水準であり、GPT がラベル付けしたデータを用いて学習した下流分類器は、元の arXiv で訓練されたモデルよりも 9 パcent 点高い 82% の正確性を達成した。

ABSTRACT

Identifying scientific publications that are within a dynamic field of research often requires costly annotation by subject-matter experts. Resources like widely-accepted classification criteria or field taxonomies are unavailable for a domain like artificial intelligence (AI), which spans emerging topics and technologies. We address these challenges by inferring a functional definition of AI research from existing expert labels, and then evaluating state-of-the-art chatbot models on the task of expert data annotation. Using the arXiv publication database as ground-truth, we experiment with prompt engineering for GPT chatbot models to identify an alternative, automated expert annotation pipeline that assigns AI labels with 94% accuracy. For comparison, we fine-tune SPECTER, a transformer language model pre-trained on scientific publications, that achieves 96% accuracy (only 2% higher than GPT) on classifying AI publications. Our results indicate that with effective prompt engineering, chatbots can be used as reliable data annotators even where subject-area expertise is required. To evaluate the utility of chatbot-annotated datasets on downstream classification tasks, we train a new classifier on GPT-labeled data and compare its performance to the arXiv-trained model. The classifier trained on GPT-labeled data outperforms the arXiv-trained model by nine percentage points, achieving 82% accuracy.

研究の動機と目的

• 標準化された定義や分類体系が欠如した、急速に進化する分野における AI 研究の特定という課題に対処すること。
• GPT のような大規模言語モデルが、科学的論文分類のための信頼できる自動専門的アノテーターとして機能できるかどうかを評価すること。
• ドメイン特化タスクに適した GPT のアノテーションの一貫性と正確性を向上させるためのプロンプト工学フレームワークを開発すること。
• 専門家ラベルベースラインと比較して、GPT がラベル付けしたデータが下流分類モデルの学習にどの程度有効に使えるかを評価すること。
• arXiv からのクラウドソーシングによる専門家ラベルを、AI 研究分類のための機能的でタイムリーな真値として使用する可能性を検討すること。

提案手法

• arXiv が提供する著者による分類カテゴリを用いて、AI 論文を特定するための真値データセット AI-arXiv を構築した。
• 科学的テキストで事前学習されたトランスフォーマー モデル SPECTER を AI-arXiv で微調整し、高精度なベースライン分類器（96% の正確性）を作成した。
• GPT-3.5-Turbo および GPT-4 が AI 論文をラベル付けする際に、読者、研究者、専門分野の専門家という役割（パーソナ）を含むゼロショット プロンプトを設計した。
• 明確さと不確実性に関する記述をプロンプトに組み込み、推論を向上させ、誤魔化し（ホールシンゲーション）を低減することで、一貫性を向上させた。
• GPT がラベル付けしたラベルを用いて、AI-arXiv ベースラインと比較するための別個の分類器を学習するための新しいデータセット AI-GPT を生成した。
• 一般化性能と正確性を測定するために、上位 13 個の AI コンfer ence の論文からなるホールドアウト テストセット上でモデルの性能を評価した。

実験結果

リサーチクエスチョン

• RQ1 微調整なしに、プロンプト工学のみを用いて、GPT モデルが AI 研究論文の分類を高精度で行えるか？
• RQ2 同じ真値データセットを用いて、GPT モデルの性能は、微調整された SPECTER モデルと比べてどの程度か？
• RQ3 システム プロンプトにおける役割（例：研究者 vs. 専門分野の専門家）の選択が、GPT のアノテーション正確性に顕著な影響を与えるか？
• RQ4 GPT がラベル付けしたデータを、下流分類器の学習に効果的に使用できるか。特に、専門家ラベル付きデータで学習したモデルよりも一般化性能が優れているか？
• RQ5 GPT モデルは、特にエッジ ケースにおいて、記憶（メモリゼーション）に依存しているのか、それとも推論に依存しているのか、その程度はいかほどか？

主な発見

• GPT-3.5-Turbo および GPT-4 は、微調整なしのゼロショット分類で 94% の正確性を達成し、微調整された SPECTER ベースライン（96%）と非常に近い水準であった。
• GPT がラベル付けしたデータで学習した AI-GPT 分類器は、AI-arXiv 分類器を 9 パーセント上回り、上位 AI コンファレンスの論文からなるテストセットで 82% の正確性を達成した。
• 明確さと不確実性に関する記述を含むプロンプト工学により、GPT-3.5-Turbo の性能が著しく向上し、コストが低いにもかかわらず GPT-4 と同等の性能を達成した。
• GPT-4 は、誤って非 AI 論文を正しくラベル付けした場合、中央値として 0.95 の信頼度確率を示したが、これは応答確率と内部的信頼度の間でずれがある可能性を示唆している。
• GPT モデルは、オープンソースの AI 論文に対して高い正確性を示しており、一般化された推論ではなく、学習データのパターンを記憶している可能性がある。
• 本研究は、形式的な分類体系が欠如した分野において、LLM がスケーラブルで信頼できる科学的文献分類のアノテーターとして機能できることを示した。