[论文解读] From Supervised to Generative: A Novel Paradigm for Tabular Deep Learning with Large Language Models

Xumeng Wen, Han Zhang+3 more|arXiv (Cornell University)|Oct 11, 2023

Topic Modeling被引用 4

一句话总结

本文提出了表格基础模型（TabFMs），这是一种新颖的范式，通过在115个多样化表格数据集上进行生成式表格学习（GTL）来微调大型语言模型（LLMs），以实现指令遵循和少样本微调。该方法在零样本和上下文学习中的表现与GPT-4相当或更优，同时在低样本场景下展现出强大的数据效率。

ABSTRACT

Tabular data is foundational to predictive modeling in various crucial industries, including healthcare, finance, retail, sustainability, etc. Despite the progress made in specialized models, there is an increasing demand for universal models that can transfer knowledge, generalize from limited data, and follow human instructions. These are challenges that current tabular deep learning approaches have not fully tackled. Here we introduce Generative Tabular Learning (GTL), a novel framework that integrates the advanced functionalities of large language models (LLMs)-such as prompt-based zero-shot generalization and in-context learning-into tabular deep learning. GTL capitalizes on the pre-training of LLMs on diverse tabular data, enhancing their understanding of domain-specific knowledge, numerical sequences, and statistical dependencies critical for accurate predictions. Our empirical study spans 384 public datasets, rigorously analyzing GTL's convergence and scaling behaviors and assessing the impact of varied data templates. The GTL-enhanced LLaMA-2 model demonstrates superior zero-shot and in-context learning capabilities across numerous classification and regression tasks. Notably, it achieves this without fine-tuning, outperforming traditional methods and rivaling state-of-the-art models like GPT-4 in certain cases. Through GTL, we not only foster a deeper integration of LLMs' sophisticated abilities into tabular data comprehension and application but also offer a new training resource and a test bed for LLMs to enhance their ability to comprehend tabular data. To facilitate reproducible research, we release our code, data, and model checkpoints at https://github.com/microsoft/Industrial-Foundation-Models.

研究动机与目标

• 解决现有可迁移表格模型在指令遵循能力和基础知识获取方面存在的局限性。
• 使大型语言模型能够从多样化表格数据集中学习数据驱动的知识，而不仅限于通用文本知识。
• 开发一个统一框架，支持新表格任务的零样本指令遵循和少样本微调。
• 通过在异构表格数据上进行领域无关的预训练，提升LLMs在表格学习中的泛化能力和数据效率。
• 探索将表格数据作为新语料库的潜力，以增强LLMs在结构化数据理解方面的能力。

提出的方法

• 使用专为生成式表格学习（GTL）设计的目标，在115个公开的表格数据集上微调预训练的大型语言模型（LLaMA-2）。
• 设计序列到序列的训练目标，使LLM能够从自然语言描述中生成完整且连贯的表格数据样本。
• 利用涵盖医疗、金融、零售和气候等领域的多样化表格数据集集合，确保广泛的基础知识获取。
• 通过LLM的上下文学习和提示工程能力，同时支持指令遵循（零样本）和少样本微调。
• 采用结构化提示模板，引导LLM理解表格模式、数值规律和统计关系。
• 使用标准表格基准测试在九个保留的数据集上评估性能，包括AUROC和准确率指标。

Figure 1: An overview of generative tabuar learning for LLMs.

实验结果

研究问题

• RQ1 大型语言模型是否能通过有效微调从多样化表格数据集中学习基础知识，以支持指令遵循和少样本适应？
• RQ2 与标准微调相比，基于表格数据的生成式预训练在零样本和上下文学习中如何提升LLMs的性能？
• RQ3 在表格推理任务中，基于表格数据训练的基础模型在多大程度上能与GPT-4等闭源模型相媲美或超越？
• RQ4 在数据稀缺条件下，该模型表现如何？其在少样本场景中是否展现出数据效率？
• RQ5 当前LLMs在理解表格数据方面存在哪些关键局限？如何通过领域特定的预训练加以缓解？

主要发现

• 所提出的TabFMs在指令遵循任务中显著优于基础LLaMA-2模型和GPT-3.5，尤其在零样本和上下文学习设置中表现突出。
• 在九个保留的表格数据集上，TabFMs的性能接近甚至在某些情况下超越GPT-4，特别是在少样本和零样本场景中。
• 在少样本微调中，该模型的表现与SOTA表格模型（如TabPFN和XGBoost）相当，展现出极高的数据效率。
• 在Bank、Blood和C. Hous等数据集上，该模型在少样本设置中表现出显著性能提升，而基础LLaMA模型则无法泛化。
• 当训练数据充足时，GTL带来的性能增益减弱，表明当数据丰富时，统计模式主导了泛化能力。
• 失败案例（如Jungle数据集，AUROC为0.69 vs. SOTA的0.80）表明LLMs在游戏等利基领域知识存在局限，可能由于预训练语料偏差或分词策略不佳。

Figure 2: Ablation study of instruction following task. Both the numerical loss and in-context training improves the prediction performance.