[論文レビュー] TABLET: Learning From Instructions For Tabular Data

Dylan Slack, Sameer Singh|arXiv (Cornell University)|Apr 25, 2023

Explainable Artificial Intelligence (XAI)被引用数 6

ひとこと要約

本稿では、自然言語による指示のバリエーション（表現、粒度、専門性）を備えた20の多様な表形式データセットをアノテートしたベンチマークであるTABLETを紹介する。このベンチマークは、大規模言語モデル（LLMs）が表形式の予測タスクに対して指示からどれだけうまく学習できるかを評価することを目的としている。指示の導入により、Flan-T5 11bでは平均で44%、ChatGPTでは13%のゼロショットF1スコア向上が得られたが、LLMsは依然として指示の整合性や特定のインスタンスに対するバイアスの問題を抱えている。

ABSTRACT

Acquiring high-quality data is often a significant challenge in training machine learning (ML) models for tabular prediction, particularly in privacy-sensitive and costly domains like medicine and finance. Providing natural language instructions to large language models (LLMs) offers an alternative solution. However, it is unclear how effectively instructions leverage the knowledge in LLMs for solving tabular prediction problems. To address this gap, we introduce TABLET, a benchmark of 20 diverse tabular datasets annotated with instructions that vary in their phrasing, granularity, and technicality. Additionally, TABLET includes the instructions' logic and structured modifications to the instructions. We find in-context instructions increase zero-shot F1 performance for Flan-T5 11b by 44% on average and 13% for ChatGPT on TABLET. Also, we explore the limitations of using LLMs for tabular prediction in our benchmark by evaluating instruction faithfulness. We find LLMs often ignore instructions and fail to predict specific instances correctly, even with examples. Our analysis on TABLET shows that, while instructions help LLM performance, learning from instructions for tabular data requires new capabilities.

研究の動機と目的

• 医療や金融などプライバシーが重要な分野における高品質なラベル付き表形式データの収集の課題に対処すること。
• 自然言語の指示が、事前学習済みLLMsの世界知識を表形式予測に効果的に活用できるかどうかを調査すること。
• 指示から学習する際のLLMsのゼロショットおよびフェイシング設定における性能と限界を評価すること。
• 今後の研究を支援するため、多様でアノテート済みの指示を備えた標準化されたベンチマークを提供すること。
• 表形式タスクにおけるLLMsの失敗モード（例：指示への従順性の欠如、モデルバイアス）を同定すること。

提案手法

• 著者らは、UCI ML Repositoryから10のデータセットと、希少疾患の診断（DDX）用に10のデータセットを含む、合計20の表形式データセットを収集した。
• 各データセットに対して、出典（例：一般ユーザー vs. 臨床現場）、表現方法、粒度、専門性の異なる複数の指示をアノテートした。
• さらに、論理的表現と反転版（反転されたバージョン）をアノテートすることで、指示の忠実性と一般化能力をテストした。
• ベンチマークはゼロショットおよびフェイシング評価をサポートしており、文脈内指示の有無によるLLM性能の比較が可能である。
• 性能評価は、Flan-T5 11b や ChatGPT などのモデルを対象に、ゼロショットおよびフェイシング設定におけるF1スコアを用いて行った。
• 上界を近似する目的で、KNNに基づくフェイシング例選択手法を用い、LLMの結果と比較した。

実験結果

リサーチクエスチョン

• RQ1 自然言語の指示は、表形式予測タスクにおけるLLMsのゼロショットおよびフェイシング性能をどの程度向上させるか？
• RQ2 指示の表現方法、粒度、専門性の違いが、LLMsの性能と指示への従順性にどのように影響するか？
• RQ3 論理的に反転させたり矛盾するバージョンの指示を提示された場合、LLMsはどれほど正確に指示に従うか？
• RQ4 表形式予測タスクの指示学習において、LLMsの主な失敗モードは何か？
• RQ5 指示ベースのプロンプトは、サンプル効率の良い設定で、完全に教師あり学習のモデルに近い性能を達成できるか？

主な発見

• TABLETベンチマーク全体で、Flan-T5 11bのゼロショットF1スコアは平均で44%向上し、ChatGPTでは13%向上した。
• 性能向上はフェイシング設定で顕著で、Flan-T5 11bは4つの文脈内例を用いることで、ベースライン比で平均44%のF1スコア向上を達成した。
• 指示による恩恵にもかかわらず、LLMsは依然として顕著なバイアスを示しており、明確な指示と例を提示しても特定のインスタンスを正しく分類できないケースが多かった。
• 指示の忠実性は低く、特に論理的に反転された場合や反事実的な文脈では、モデルが指示を無視したり誤解したりする傾向が強かった。
• KNNを用いた最適なフェイシング例選択と特徴量の重み付けを行ったとしても、Flan-T5 11bのF1スコアは0.77にとどまり、完全に教師あり学習されたKNNモデルの0.93に達しないことから、依然として性能ギャップが存在することが示された。
• 結果から、現在のLLMsは事前学習済み知識を活用する一方で、タスク固有の指示に忠実に適応する能力に欠けていることが明らかとなり、より優れた推論力と指示従順性の向上が求められることが示唆された。