[论文解读] TabLLM: Few-shot Classification of Tabular Data with Large Language Models

Stefan Hegselmann, Alejandro Buendia+4 more|arXiv (Cornell University)|Oct 19, 2022

Topic Modeling被引用 49

一句话总结

TabLLM 使用序列化的表格数据作为自然语言提示，LLMs 执行零-shot 和少-shot 分类，通常比神经表格模型表现更好，在极少-shot 设置下与树集成模型竞争力强。

ABSTRACT

We study the application of large language models to zero-shot and few-shot classification of tabular data. We prompt the large language model with a serialization of the tabular data to a natural-language string, together with a short description of the classification problem. In the few-shot setting, we fine-tune the large language model using some labeled examples. We evaluate several serialization methods including templates, table-to-text models, and large language models. Despite its simplicity, we find that this technique outperforms prior deep-learning-based tabular classification methods on several benchmark datasets. In most cases, even zero-shot classification obtains non-trivial performance, illustrating the method's ability to exploit prior knowledge encoded in large language models. Unlike many deep learning methods for tabular datasets, this approach is also competitive with strong traditional baselines like gradient-boosted trees, especially in the very-few-shot setting.

研究动机与目标

• 通过利用预训练的 LLM 来利用先验知识，推动数据高效的表格分类。
• 评估不同文本序列化的表格数据如何影响零-shot 与少-shot 的性能。
• 在多个数据集上将 TabLLM 与强基线（树集成和神经表格模型）进行比较。
• 在真实世界的医疗保健理赔数据上演示可行性并分析零-shot 预测中的特征影响。

提出的方法

• 原型化 TabLLM 框架，将表格行序列化为自然语言字符串。
• 研究九种序列化格式，从简单的值列表到文本模板以及表到文本的管道。
• 以任务描述和序列化行对 LLM 进行提示；通过语言化器将 LLM 输出映射到类别令牌（如 Yes/No）。
• 当 k>0 时，使用 T-Few 参数高效微调方法对 LLM 进行 k-shot 微调。
• 使用跨数据集的 AUC（多类的宏AUC）评估零-shot 与少-shot 性能。
• 与基线进行比较，包括逻辑回归、XGBoost、LightGBM、TabNet、SAINT、NODE、TABPFN，以及 GPT-3（零-shot）。

实验结果

研究问题

• RQ1 当给出序列化输入时，LLMs 能否在表格数据上有效执行零-shot 分类？
• RQ2 不同的序列化策略如何影响跨多样表格数据集的零-shot和少-shot 性能？
• RQ3 对 LLM 进行参数高效微调是否相较于零-shot能提升少-shot 表格分类？
• RQ4 在少-shot 情况下，TabLLM 与强基线（树集成和神经方法）相比如何？
• RQ5 该方法在真实世界的医疗保健理赔数据上的可行性如何，以及在零-shot 中特征信息对预测的影响？

主要发现

• 使用文本模板序列化的 TabLLM 在零-shot 展现出强劲表现，通常在极少-shot 设置下优于若干神经表格模型及一些基线。
• 在序列化方法中，文本模板通常能带来最佳的零-shot和极少-shot结果；随着示例增多，差异减小。
• GPT-3（零-shot）表现具有竞争力，但在极少-shot情况下一，使用基于 T0 的微调的 TabLLM 超越了许多基线。
• 在许多数据集上，TabLLM 与梯度提升树（如 XGBoost、LightGBM）保持竞争力，约到 256 次样本时；在极少-shot 情况下表现优于它们；TabPFN 在各设置下仍然是强基线。
• 在医疗保健理赔数据集上，List Template 序列化和频繁概念选择提供比其他一些序列化更好的性能；TabLLM 在零-/少-shot 下也具备竞争力。
• 零-shot 的 TabLLM 往往依赖于特征名称及其与数值的关联；更多示例后，可以学习新的关联，减少对特定序列化的依赖。
• 在公开数据集上，TabLLM 通常优于或匹配强基线甚至神经模型，在零-/少-shot 条件下，且数据集间有一定差异。