[論文レビュー] Table-GPT: Table-tuned GPT for Diverse Table Tasks

Peng Li, Yeye He+7 more|arXiv (Cornell University)|Oct 13, 2023

Topic Modeling被引用数 8

ひとこと要約

tldr: Table-GPTは多様な合成表タスクでGPT-3.5/ChatGPTを継続訓練し、表の理解と未知の表タスクへの一般化を改善します。

ABSTRACT

Language models, such as GPT-3.5 and ChatGPT, demonstrate remarkable abilities to follow diverse human instructions and perform a wide range of tasks. However, when probing language models using a range of basic table-understanding tasks, we observe that today's language models are still sub-optimal in many table-related tasks, likely because they are pre-trained predominantly on \emph{one-dimensional} natural-language texts, whereas relational tables are \emph{two-dimensional} objects. In this work, we propose a new "\emph{table-tuning}" paradigm, where we continue to train/fine-tune language models like GPT-3.5 and ChatGPT, using diverse table-tasks synthesized from real tables as training data, with the goal of enhancing language models' ability to understand tables and perform table tasks. We show that our resulting Table-GPT models demonstrate (1) better \emph{table-understanding} capabilities, by consistently outperforming the vanilla GPT-3.5 and ChatGPT, on a wide-range of table tasks, including holdout unseen tasks, and (2) strong \emph{generalizability}, in its ability to respond to diverse human instructions to perform new table-tasks, in a manner similar to GPT-3.5 and ChatGPT.

研究の動機と目的

• より良い表理解が求められる理由を動機付ける、2Dのリレーショナル表が1Dの自然言語テキストと異なる点。
• 言語モデルの表タスク能力を改善するために、タスク固有のプロンプトではなく重み調整による表調整パラダイムを提案する。
• 実表から合成した多様な表タスクを用いて表調整モデルを訓練する。
• Table-GPTが見たことのある表タスクと見たことのない表タスクの両方で素猫GPT-3.5/ChatGPTを上回り、新しい指示へ一般化することを示す。

提案手法

• 指示調整に類似した表調整パラダイムを導入し、(指示, 表, 完成)の三つ組で訓練する。
• 実表から多様な表タスクを合成し、豊富な訓練コーパスを作成する（合成→拡張の手法）。
• 18の表関連タスクのスイートを定義する（T-1 から T-18）、表理解、QA、マッチング、クリーニング、変換を網羅。
• 過学習を防ぎ、一般化を改善するために、タスクレベル、表レベル、指示レベル、完成レベルのデータ拡張を適用する。
• Table-GPTは下流のファインチューニングとプロンプトエンジニアリングの出発点として、素のGPTよりも優れていることを示す。

Figure 1 . Two simple tests to probe language-models’ basic ability to read and understand tables. (Left) T-1: Missing cells identification, which is to identify the column-header/row-id of a missing cell. (Right) T-2: Column-Finding, which is to identify the column-name of a given value. Even large

実験結果

リサーチクエスチョン

• RQ1 大規模言語モデルは、自然言語テキストと比較して2次元表を信頼性高く読解・推論できるか。
• RQ2 多様な表タスクでの継続訓練（表調整）は、素のGPT-3.5/ChatGPTより表理解とタスク性能を改善するか。
• RQ3 Table-GPTモデルは未知の表タスクに一般化し、表関連タスクの新しい人間指示に従えるか。
• RQ4 合成→拡張データパイプラインは、一般化と表の変動性に対する頑健性にどう影響するか。

主な発見

• Table-GPTは、広範な表タスクで素の GPT-3.5 および ChatGPT を一貫して上回る。
• Table-GPTは高い一般化性を示し、指示に従う動作で新規・未知の表タスクを扱える。GPT-3.5/ChatGPTに似た挙動。
• 表調整アプローチはプロンプトエンジニアリングと補完的で、素のモデルと表調整モデルの両方に利益をもたらす。
• 現在のLMは2D表構造と垂直読みに苦しむ点を示しており、表調整を解決策として動機づける。

Figure 2 . Example table-tasks, where the ability of language models to “read” tables vertically is important. (Left) T-3: Table Question-Answering. (Right) T-8: Data Imputation. More tasks like these are shown in Table 2 .