[論文レビュー] RAFT: A Real-World Few-Shot Text Classification Benchmark

Neel Alex, Eli Lifland+10 more|arXiv (Cornell University)|Sep 28, 2021

Topic Modeling参考文献 33被引用数 5

ひとこと要約

RAFTは、実際の研究アシスタントの作業を反映する自然に発生するタスクを用いた、現実世界のfew-shotテキスト分類ベンチマークを導入した。各タスクには50件のトレーニング例が含まれ、デプロイメントを模倣した評価設定が採用されている。このベンチマークでは、非専門家の人間でさえGPT-3を平均F1スコアで0.11上回ることを明らかにした。これは、現在のモデルが長文の推論や多クラス分類において困難を抱えていることを示しており、その課題を浮き彫りにしている。

ABSTRACT

Large pre-trained language models have shown promise for few-shot learning, completing text-based tasks given only a few task-specific examples. Will models soon solve classification tasks that have so far been reserved for human research assistants? Existing benchmarks are not designed to measure progress in applied settings, and so don't directly answer this question. The RAFT benchmark (Real-world Annotated Few-shot Tasks) focuses on naturally occurring tasks and uses an evaluation setup that mirrors deployment. Baseline evaluations on RAFT reveal areas current techniques struggle with: reasoning over long texts and tasks with many classes. Human baselines show that some classification tasks are difficult for non-expert humans, reflecting that real-world value sometimes depends on domain expertise. Yet even non-expert human baseline F1 scores exceed GPT-3 by an average of 0.11. The RAFT datasets and leaderboard will track which model improvements translate into real-world benefits at https://raft.elicit.org .

研究の動機と目的

• 人間の研究アシスタントが実施する現実世界のfew-shotテキスト分類タスクを反映するベンチマークを構築すること。
• 長文の入力テキストや複雑な指示を含む、実際のデプロイメント条件に近い設定でfew-shot学習のパフォーマンスを評価すること。
• 現在の言語モデルが長文ドキュメントの推論や高基数分類タスクを処理する際の限界を特定すること。
• 人間の水準のfew-shot分類に近づくための進捗を測るため、現実世界のタスクにおける人間ベースラインのパフォーマンスを確立すること。
• モデルの改善を追跡できる公開リーダーボードとデータセットを提供し、それが実世界の実用的利点に直結することを目的とする。

提案手法

• ベンチマークは、実際の研究ワークフローから収集された11の自然に発生するテキスト分類データセットから構成され、各タスクに50件のラベル付きトレーニング例と、より大きなラベルなしテストセットが含まれる。
• 各タスクには自然言語による指示とラベルが含まれており、評価はHugging Faceがホスティングするリーダーボードを用い、プライベートなテストラベルを使用して実施される。
• 人間ベースラインはクラウドソーシングを用いて収集され、2段階のプロセス（資格試験：20例、本格的ラベリング：100例）を経て実施され、ラベルの矛盾は多数決による投票で解決された。
• 自動ベースラインはGPT-3やアンサンブル手法（例：n-gram特徴量を用いたAdaBoost）を用いて評価され、ハイパーパrameterは1つずつ除外する交差検証（leave-one-out cross-validation）により最適化された。
• 評価設定では閉じた本番（closed-book）制限を避け、現実世界のタスクの複雑さをよりよく反映するため、情報量が多く非二値のラベルが採用された。
• 実際のデプロイメント条件を模倣するために、ラベルなしの例を用いた教師なし事前学習や、オープンドメイン検索が推奨された。

実験結果

リサーチクエスチョン

• RQ1 現在のfew-shot言語モデルは、通常人間の研究アシスタントに外部委託される現実世界のテキスト分類タスクで人間のパフォーマンスに匹敵できるか？
• RQ2 長文の入力テキストにわたる推論を要するタスクでは、モデルのパフォーマンスはどの程度であるか？これは現実世界のアプリケーションで一般的な課題である。
• RQ3 few-shot学習におけるモデルの能力は、高基数分類タスクにどの程度一般化できるか？
• RQ4 人間のパフォーマンスは、最先端のモデルと比較して、F1スコアや分野専門知識の依存性の観点からどの程度異なるか？
• RQ5 評価設定のどの要素（例：ラベルの情報量、検索アクセス）がモデルのパフォーマンス推定に最も顕著に影響を与えるか？

主な発見

• 非専門家の人間ベースラインは、ベンチマーク全体でGPT-3を平均F1スコアで0.11上回った。これは、現在のモデルが現実世界のfew-shotタスクにおいて不足していることを示しており、その課題を浮き彫りにしている。
• 現在のモデルは、長文ドキュメントの推論において顕著に困難を抱えていることが、長文ドキュメントを含むデータセットでの低いパフォーマンスから明らかになった。
• 10種類以上のカテゴリを含む高数のクラスを持つタスクは大きな課題を呈し、シンプルな多クラスタスクと比較して、モデルのF1スコアが顕著に低かった。
• 一部のデータセット、特に分野専門知識を要するものでは、クラウドソーシングによる人間ベースラインの収集が困難であった。これは、現実世界の価値がしばしば専門的知識に依存していることを示唆している。
• n-gram特徴量を用いたAdaBoostを用いた自動ベースラインは、一部のタスクで良好なパフォーマンスを示したが、依然として人間ベースラインに劣り、特に長文文脈および高基数タスクでは顕著に劣っていた。
• RAFTベンチマークおよびリーダーボード（https://raft.elicit.org）は、公開されており、現実世界のfew-shotテキスト分類におけるモデルの改善を追跡できる。