[论文解读] Column Type Annotation using ChatGPT

Keti Korini, Christian Bizer|arXiv (Cornell University)|Jun 1, 2023

Topic Modeling被引用 7

一句话总结

本文探讨了使用 ChatGPT 进行关系表中的列类型标注（CTA）的可行性，提出了一种两步法流水线：首先分类表格的实体类型，然后使用精简的语义类型词汇表对列进行标注。在极少或无需微调的情况下，ChatGPT 在零样本和单样本设置下的 F1 分数超过 85%，优于在 356 个样本上微调的 RoBERTa 模型。

ABSTRACT

Column type annotation is the task of annotating the columns of a relational table with the semantic type of the values contained in each column. Column type annotation is an important pre-processing step for data search and data integration in the context of data lakes. State-of-the-art column type annotation methods either rely on matching table columns to properties of a knowledge graph or fine-tune pre-trained language models such as BERT for column type annotation. In this work, we take a different approach and explore using ChatGPT for column type annotation. We evaluate different prompt designs in zero- and few-shot settings and experiment with providing task definitions and detailed instructions to the model. We further implement a two-step table annotation pipeline which first determines the class of the entities described in the table and depending on this class asks ChatGPT to annotate columns using only the relevant subset of the overall vocabulary. Using instructions as well as the two-step pipeline, ChatGPT reaches F1 scores of over 85% in zero- and one-shot setups. To reach a similar F1 score a RoBERTa model needs to be fine-tuned with 356 examples. This comparison shows that ChatGPT is able deliver competitive results for the column type annotation task given no or only a minimal amount of task-specific demonstrations.

研究动机与目标

• 探究在无需大量微调的情况下，使用类似 ChatGPT 的大语言模型进行列类型标注的可行性。
• 评估提示工程（包括逐步指令和消息角色）对 CTA 性能的影响。
• 通过提出两步法标注流水线，解决大规模语义类型词汇表带来的挑战。
• 对比 ChatGPT 与 SOTA 方法（如 RoBERTa 和 DODUO）在零样本和少样本设置下的性能表现。
• 建立基于大语言模型的少样本和零样本 CTA 基线，减少对特定任务训练数据的依赖。

提出的方法

• 作者使用 SOTAB 基准数据集的一个子集，其中包含来自四个领域（音乐、酒店、活动和餐厅）的 32 种语义类型。
• 他们尝试了多种提示设计，包括零样本、少样本上下文学习，以及包含结构化指令和消息角色的提示。
• 提出一种两步法流水线：首先预测表格的实体类别（如餐厅），然后将语义类型词汇表限制为仅与该类别相关的类型。
• 通过使用自然语言描述表格列（如“价格为 8.00 美元”）来提示模型，以提升可解释性和性能。
• 使用测试集上的 F1 分数评估性能，并在不同大小的训练数据下，将 ChatGPT 的结果与微调后的 RoBERTa 和 DODUO 模型进行比较。
• 所有实验均可通过 GitHub 上发布的代码和数据复现。

实验结果

研究问题

• RQ1 在无需微调的情况下，ChatGPT 是否能在零样本和少样本设置中实现具有竞争力的列类型标注性能？
• RQ2 在 CTA 中，引入逐步指令和消息角色是否显著影响 ChatGPT 的性能？
• RQ3 在少量示例下进行上下文学习是否能显著提升零样本性能？
• RQ4 对于大规模语义类型词汇表，采用先缩小标签空间的两步法流水线是否能提升性能？
• RQ5 当在不同量级的训练数据上训练时，ChatGPT 的性能与微调后的 RoBERTa 和 DODUO 模型相比如何？

主要发现

• 仅通过提示工程且无需微调，ChatGPT 在零样本和单样本设置下的 F1 分数均超过 85%。
• 两步法流水线（先分类表格的实体类型，再限制语义类型词汇表）能够有效处理大规模标签集。
• 提供详细、多步骤的指令相比简单提示模板，显著提升了性能。
• ChatGPT 的性能优于在 356 个样本上微调的 RoBERTa 模型，且无需任何特定任务的微调即可达到相似的 F1 分数。
• 使用消息角色（如系统消息和用户消息）可提升少样本设置下的稳定性和性能。
• 本研究证明，像 ChatGPT 这样的大语言模型在 CTA 任务中具有高度的数据效率，显著减少了对大规模标注数据集的依赖。