[논문 리뷰] From Supervised to Generative: A Novel Paradigm for Tabular Deep Learning with Large Language Models

Xumeng Wen, Han Zhang외 3명|arXiv (Cornell University)|2023. 10. 11.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 115개의 다양한 표 형태 데이터셋에서 생성적 표 형태 학습(GTL)을 통해 대규모 언어 모델(LLM)을 미세조정하는 새로운 패러다임인 표 형태 기초 모델(TabFMs)을 소개한다. 이를 통해 지시어 따르기 및 소수의 예시를 통한 미세조정이 가능해진다. 이 방법은 제로샷 및 인라인 학습에서 GPT-4와 유사하거나 이를 초월하는 성능을 달성하며, 저샷 시나리오에서 뛰어난 데이터 효율성을 보여준다.

ABSTRACT

Tabular data is foundational to predictive modeling in various crucial industries, including healthcare, finance, retail, sustainability, etc. Despite the progress made in specialized models, there is an increasing demand for universal models that can transfer knowledge, generalize from limited data, and follow human instructions. These are challenges that current tabular deep learning approaches have not fully tackled. Here we introduce Generative Tabular Learning (GTL), a novel framework that integrates the advanced functionalities of large language models (LLMs)-such as prompt-based zero-shot generalization and in-context learning-into tabular deep learning. GTL capitalizes on the pre-training of LLMs on diverse tabular data, enhancing their understanding of domain-specific knowledge, numerical sequences, and statistical dependencies critical for accurate predictions. Our empirical study spans 384 public datasets, rigorously analyzing GTL's convergence and scaling behaviors and assessing the impact of varied data templates. The GTL-enhanced LLaMA-2 model demonstrates superior zero-shot and in-context learning capabilities across numerous classification and regression tasks. Notably, it achieves this without fine-tuning, outperforming traditional methods and rivaling state-of-the-art models like GPT-4 in certain cases. Through GTL, we not only foster a deeper integration of LLMs' sophisticated abilities into tabular data comprehension and application but also offer a new training resource and a test bed for LLMs to enhance their ability to comprehend tabular data. To facilitate reproducible research, we release our code, data, and model checkpoints at https://github.com/microsoft/Industrial-Foundation-Models.

연구 동기 및 목표

• 기존의 이식 가능한 표 형태 모델들이 지시어 따르기 능력과 기초 지식 습득 능력에 빈도를 보이는 한계를 해결하기 위해.
• 대규모 언어 모델이 일반 텍스트 지식을 넘어서 다양한 표 형태 데이터셋으로부터 데이터 기반 지식을 습득할 수 있도록 하기 위해.
• 새로운 표 형태 작업에 대해 제로샷 지시어 따르기와 소수의 예시를 통한 미세조정을 모두 지원하는 통합 프레임워크를 개발하기 위해.
• 이질적인 표 형태 데이터에 대한 도메인에 구애받지 않는 사전 훈련을 통해 LLM의 일반화 능력과 데이터 효율성을 향상시키기 위해.
• 표 형태 데이터를 새로운 코퍼스로 활용하여 LLM의 구조화된 데이터 이해 능력을 향상시키는 잠재력을 탐색하기 위해.

제안 방법

• 115개의 공개 표 형태 데이터셋에서 목적에 맞는 생성적 표 형태 학습(GTL) 목적함수를 사용해 사전 훈련된 LLM(LLaMA-2)를 미세조정한다.
• 자연어 설명으로부터 완전하고 일관된 표 형태 데이터 샘플을 생성할 수 있도록 순서에서 순서로의 훈련 목적함수를 설계한다.
• 의료, 금융, 소매, 기후 도메인을 아우르는 다양한 표 형태 데이터셋 컬렉션을 활용하여 광범위한 기초 지식 습득을 보장한다.
• LLM의 인라인 학습 및 프롬프트 엔지니어링 능력을 활용하여 지시어 따르기(제로샷) 및 소수의 예시를 통한 미세조정을 모두 지원한다.
• 표 형태 스키마, 수치 패턴, 통계적 관계를 이해하는 데 도움이 되는 구조화된 프롬프트 템플릿을 활용한다.
• AUROC 및 정확도 메트릭을 포함한 표준 표 형태 벤치마크를 사용해 9개의 보류된 데이터셋에서 성능을 평가한다.

Figure 1: An overview of generative tabuar learning for LLMs.

실험 결과

연구 질문

• RQ1 대규모 언어 모델이 다양한 표 형태 데이터셋에서 기초 지식을 효과적으로 습득하여 지시어 따르기 및 소수의 예시를 통한 적응을 지원할 수 있는가?
• RQ2 표 형태 데이터에서의 생성적 사전 훈련이 표준 미세조정 대비 제로샷 및 인라인 학습에서 LLM의 성능을 어떻게 향상시키는가?
• RQ3 표 형태 데이터에서 훈련된 기초 모델이 GPT-4와 같은 비공개 모델을 표 형태 추론 작업에서 따라하거나 능가할 수 있는가?
• RQ4 데이터가 부족한 조건에서 모델은 어떻게 성능을 내며, 소수의 예시 시나리오에서 데이터 효율성을 보여주는가?
• RQ5 현재 LLM의 표 형태 데이터 이해 능력에서의 주요 한계는 무엇이며, 도메인 특화 사전 훈련을 통해 이를 어떻게 완화할 수 있는가?

주요 결과

• 제안된 TabFMs는 지시어 따르기 작업에서 기초 LLaMA-2 모델과 GPT-3.5를 크게 능가하며, 특히 제로샷 및 인라인 학습 환경에서 두드러진 성능을 보인다.
• 9개의 보류된 표 형태 데이터셋에서 TabFMs는 GPT-4에 가까운 성능을 달성하거나 일부 사례에서 이를 초월하며, 특히 소수의 예시 및 제로샷 시나리오에서 뛰어난 성능을 보인다.
• 소수의 예시를 통한 미세조정에서 TabFMs는 TabPFN 및 XGBoost와 같은 최첨단 표 형태 모델과 경쟁 가능한 성능을 보이며, 높은 데이터 효율성을 입증한다.
• Bank, Blood, C. Hous. 등의 데이터셋에서 소수의 예시 설정에서 기초 LLaMA 모델이 일반화에 실패하는 상황에서도 모델은 상당한 성능 향상을 보였다.
• 풍부한 훈련 데이터가 존재할 경우 GTL로 인한 성능 향상은 감소함을 보이며, 이는 데이터가 많을수록 통계적 패턴이 일반화를 지배하기 때문임을 시사한다.
• Jungle 데이터셋에서의 실패 사례(AUROC 0.69 vs. SOTA의 0.80)는 LLM의 게임과 같은 특수 도메인 지식에 대한 한계를 보여주며, 사전 훈련 코퍼스 편향 또는 최적화되지 않은 토큰화가 원인일 수 있음을 시사한다.

Figure 2: Ablation study of instruction following task. Both the numerical loss and in-context training improves the prediction performance.