[논문 리뷰] Table-GPT: Table-tuned GPT for Diverse Table Tasks

Peng Li, Yeye He외 7명|arXiv (Cornell University)|2023. 10. 13.

Topic Modeling인용 수 8

한 줄 요약

Table-GPT은 다양한 합성된 표 작업에서 GPT-3.5/ChatGPT를 지속적으로 학습시켜 표 이해도와 보지 못한 표 작업에 대한 일반화를 향상시킨다.

ABSTRACT

Language models, such as GPT-3.5 and ChatGPT, demonstrate remarkable abilities to follow diverse human instructions and perform a wide range of tasks. However, when probing language models using a range of basic table-understanding tasks, we observe that today's language models are still sub-optimal in many table-related tasks, likely because they are pre-trained predominantly on \emph{one-dimensional} natural-language texts, whereas relational tables are \emph{two-dimensional} objects. In this work, we propose a new "\emph{table-tuning}" paradigm, where we continue to train/fine-tune language models like GPT-3.5 and ChatGPT, using diverse table-tasks synthesized from real tables as training data, with the goal of enhancing language models' ability to understand tables and perform table tasks. We show that our resulting Table-GPT models demonstrate (1) better \emph{table-understanding} capabilities, by consistently outperforming the vanilla GPT-3.5 and ChatGPT, on a wide-range of table tasks, including holdout unseen tasks, and (2) strong \emph{generalizability}, in its ability to respond to diverse human instructions to perform new table-tasks, in a manner similar to GPT-3.5 and ChatGPT.

연구 동기 및 목표

• 2D 관계 표가 1D 자연어 텍스트와 다르다는 점을 고려할 때 더 나은 표 이해의 필요성을 동기화한다.
• 가중치 조정이 필요한 표 작업에서 언어 모델의 능력을 향상시키는 표-튜닝 패러다임을 제안한다.
• 실제 표에서 합성된 다양한 표 작업을 개발하여 표-튜닝 모델을 학습시킨다.
• Table-GPT가 보이는 표 작업과 보지 못한 표 작업에서 일반 GPT-3.5/ChatGPT보다 성능이 우수하고 새로운 지침으로 일반화함을 보여준다.

제안 방법

• 지시-튜닝에 비견되는 표-튜닝 패러다임을 도입하고 (지시, 표, 완성) 트리플로 학습한다.
• 실제 표에서 다양한 표 작업을 합성하여 풍부한 학습 말뭉치를 만든다(합성-그다음 증강).
• 표 이해, QA, 매칭, 정리, 변환에 걸친 18개의 표 관련 작업(T-1에서 T-18) 모음을 정의한다.
• 과제-, 표-, 지시-, 완성 수준의 데이터 증강을 적용하여 과적합을 방지하고 일반화를 향상시킨다.
• Table-GPT가 다운스트림 미세 조정과 프롬프트 엔지니어링에 대해 일반 GPT보다 더 나은 시작점임을 입증한다.

Figure 1 . Two simple tests to probe language-models’ basic ability to read and understand tables. (Left) T-1: Missing cells identification, which is to identify the column-header/row-id of a missing cell. (Right) T-2: Column-Finding, which is to identify the column-name of a given value. Even large

실험 결과

연구 질문

• RQ1 대형 언어 모델이 자연어 텍스트와 비교하여 이차원 표를 읽고 추론하는 것이 신뢰할 수 있는가?
• RQ2 다양한 표 작업에 대한 지속적 학습(표-튜닝)이 일반 GPT-3.5/ChatGPT보다 표 이해도와 작업 성능을 향상시키는가?
• RQ3 Table-GPT 모델이 보지 못한 표 작업에 일반화하고 표 관련 작업에 대한 새로운 인간 지시를 따를 수 있는가?
• RQ4 합성-그다음 증강 데이터 파이프라인이 일반화와 표 변형에 대한 강건성에 어떤 영향을 미치는가?

주요 결과

• Table-GPT은 광범위한 표 작업에서 일반 GPT-3.5 및 ChatGPT를 지속적으로 능가한다.
• Table-GPT는 강력한 일반화 능력을 보여주며 신규 및 보지 못한 표 작업에 지시사항을 따르는 행동이 GPT-3.5/ChatGPT와 유사하게 작동한다.
• 표-튜닝 접근법은 프롬프트 엔지니어링에 보완적이며 일반 모델과 표-튜닝 모델 모두에 이점을 준다.
• 현재 LMs가 2D 표 구조와 수직 읽기에 어려움을 겪는다는 점을 강조하며 표-튜닝을 해결책으로 제시한다.

Figure 2 . Example table-tasks, where the ability of language models to “read” tables vertically is important. (Left) T-3: Table Question-Answering. (Right) T-8: Data Imputation. More tasks like these are shown in Table 2 .