[논문 리뷰] TabLLM: Few-shot Classification of Tabular Data with Large Language Models

Stefan Hegselmann, Alejandro Buendia외 4명|arXiv (Cornell University)|2022. 10. 19.

Topic Modeling인용 수 49

한 줄 요약

TabLLM은 직렬화된 표 형식 데이터를 자연어 프롬프트로 사용해 LLM이 제로샷 및 적은 샷 분류를 수행하게 하며, 특히 매우 적은 샷 설정에서 신경망 표 모델을 종종 능가하고 트리 앙상블과도 경쟁력 있음.

ABSTRACT

We study the application of large language models to zero-shot and few-shot classification of tabular data. We prompt the large language model with a serialization of the tabular data to a natural-language string, together with a short description of the classification problem. In the few-shot setting, we fine-tune the large language model using some labeled examples. We evaluate several serialization methods including templates, table-to-text models, and large language models. Despite its simplicity, we find that this technique outperforms prior deep-learning-based tabular classification methods on several benchmark datasets. In most cases, even zero-shot classification obtains non-trivial performance, illustrating the method's ability to exploit prior knowledge encoded in large language models. Unlike many deep learning methods for tabular datasets, this approach is also competitive with strong traditional baselines like gradient-boosted trees, especially in the very-few-shot setting.

연구 동기 및 목표

• 사전 학습된 LLM의 사전 지식을 활용해 데이터 효율적인 표 분류를 추진한다.
• 표 데이터의 서로 다른 텍스트 직렬화가 제로샷 및 적은 샷 성능에 미치는 영향을 평가한다.
• TabLLM과 강력한 베이스라인(트리 앙상블 및 신경 표 모델)을 다수의 데이터셋에서 비교한다.
• 실세계의 헬스케어 청구 데이터에서 실현 가능성을 시연하고 제로샷에서 특징 정보의 영향을 분석한다.

제안 방법

• TabLLM 프레임워크를 프로토타입으로 개발해 표 행을 자연어 문자열로 직렬화한다.
• 간단한 값 목록부터 텍스트 템플릿과 표-에서-텍스트 파이프라인에 이르는 아홉 가지 직렬화 형식을 연구한다.
• 작업 설명과 직렬화된 행을 사용해 LLM에 프롬프트를 주고, Verbalizer(예: Yes/No)를 통해 LLM 출력을 클래스 토큰으로 매핑한다.
• k샷인 경우 T-Few 매개변수 효율적 미세조정 방법으로 LLM을 k샷 예제로 미세조정한다.
• 다양한 데이터셋에서 AUC(다중 클래스의 경우 매크로-AUC)를 사용해 제로샷 및 적은 샷 성능을 평가한다.
• 로지스틱 회귀, XGBoost, LightGBM, TabNet, SAINT, NODE, TABPFN, GPT-3(제로샷) 등 기준선과 비교한다.

실험 결과

연구 질문

• RQ1 L PM의 직렬화 입력이 주어졌을 때 LLM이 표형 데이터에서 제로샷 분류를 효과적으로 수행할 수 있는가?
• RQ2 다양한 표 데이터셋에서 서로 다른 직렬화 전략이 제로샷 및 적은 샷 성능에 어떤 영향을 미치는가?
• RQ3 LLM의 매개변수 효율적 미세조정이 제로샷과 비교해 표 분류에서 적은 샷 성능을 향상시키는가?
• RQ4 TabLLM은 적은 샷 영역에서 트리 앙상블 및 신경 표 방법과 비교해 어느 정도 경쟁력 있는가?
• RQ5 실세계 헬스케어 청구 데이터에서의 적용 가능성은 어떤가, 제로샷에서 특징 정보가 예측에 미치는 영향은?

주요 결과

• Text Template 직렬화가 강력한 제로샷 성능을 달성하고, 매우 적은 샷 설정에서 여러 신경망 표 모델 및 일부 베이스라인보다 일반적으로 우수하다.
• 직렬화 방법 중 Text Template가 제로샷 및 아주 소수의 샷에서 가장 좋은 성능을 자주 보여주며, 더 많은 예제가 주어지면 차이가 줄어든다.
• GPT-3(제로샷)는 경쟁력 있지만, T0 기반 미세조정이 적용된 TabLLM은 아주 소수의 샷 영역에서 많은 베이스라인을 능가한다.
• 여러 데이터셋에서 TabLLM은 그래디언트 부스팅 트리(XGBoost, LightGBM)와의 대체로 256샷까지도 경쟁력을 보이며, 아주 적은 샷 설정에서 더 우수하다; TabPFN은 모든 설정에서 강력한 베이스라인으로 남아 있다.
• 헬스케어 청구 데이터셋에서 List Template 직렬화와 자주 등장하는 개념 선택이 다른 직렬화보다 더 나은 성능을 보였고, TabLLM은 제로-/적은 샷에서 경쟁력 있는 결과를 달성했다.
• 제로샷 TabLLM은 종종 피처 이름과 값 간의 연관성에 의존하는 반면, 더 많은 예제는 새로운 연관성을 학습하게 해 특정 직렬화에 대한 의존성을 줄인다.
• 공개 데이터셋 전반에 걸쳐 TabLLM은 일반적으로 강력한 베이스라인과 신경 모델을 제로샷/적은 샷 조건에서 능가하거나 일치하는 경향이 있으며, 데이터셋에 따라 변동이 있다.