[论文解读] GPT Self-Supervision for a Better Data Annotator

Xiaohuan Pei, Yanxi Li+1 more|arXiv (Cornell University)|Jun 7, 2023

Topic Modeling被引用 5

一句话总结

本文提出了一种基于GPT的自监督数据标注方法，通过生成-恢复循环迭代优化一次性模板，以总结复杂结构化数据。该方法利用GPT的 few-shot 能力以及原始数据与恢复数据之间的对齐分数，在无需人工标注标签的情况下，于具有挑战性的数据集上实现了具有竞争力的性能，展示了在句子级别和结构级别评估指标上的鲁棒性。

ABSTRACT

The task of annotating data into concise summaries poses a significant challenge across various domains, frequently requiring the allocation of significant time and specialized knowledge by human experts. Despite existing efforts to use large language models for annotation tasks, significant problems such as limited applicability to unlabeled data, the absence of self-supervised methods, and the lack of focus on complex structured data still persist. In this work, we propose a GPT self-supervision annotation method, which embodies a generating-recovering paradigm that leverages the one-shot learning capabilities of the Generative Pretrained Transformer (GPT). The proposed approach comprises a one-shot tuning phase followed by a generation phase. In the one-shot tuning phase, we sample a data from the support set as part of the prompt for GPT to generate a textual summary, which is then used to recover the original data. The alignment score between the recovered and original data serves as a self-supervision navigator to refine the process. In the generation stage, the optimally selected one-shot sample serves as a template in the prompt and is applied to generating summaries from challenging datasets. The annotation performance is evaluated by tuning several human feedback reward networks and by calculating alignment scores between original and recovered data at both sentence and structure levels. Our self-supervised annotation method consistently achieves competitive scores, convincingly demonstrating its robust strength in various data-to-summary annotation tasks.

研究动机与目标

• 为解决计算图等复杂结构化数据的人工标注耗时且需要专业知识的问题。
• 克服现有基于大语言模型的标注方法的局限性，包括对人工标注数据的依赖、缺乏反馈机制，以及在结构化数据上的适用性差。
• 开发一种自监督框架，利用GPT的一次性学习能力与迭代优化，生成高质量摘要。
• 通过人类反馈奖励模型以及句子级别和结构级别的对齐分数，对方法进行评估。
• 在真实世界数据集上展示该方法的有效性，包括新生成的神经架构摘要数据集。

提出的方法

• 该方法采用两阶段框架：一次性微调与生成，基于生成-恢复范式，迭代优化模板。
• 在一次性微调阶段，使用支持集中的一个数据样本作为提示，通过GPT生成摘要，随后利用该摘要恢复原始数据。
• 恢复数据与原始数据之间的对齐分数作为反馈，用于更新模板，当支持集和验证集得分均提升时，触发模板替换。
• 该过程使用解码提示从摘要中重建数据，从而实现模板的迭代优化，提升泛化能力。
• 最终模板应用于生成阶段，为未见过的、具有挑战性的数据集生成摘要。
• 评估采用人类反馈奖励模型以及句子级别和结构级别的多种相似性度量（BLEU、ROUGE、STS、BERT）。

实验结果

研究问题

• RQ1 基于GPT的自监督方法是否能在不依赖人工标注标签的情况下，有效生成复杂结构化数据的高质量摘要？
• RQ2 通过对齐反馈，迭代的生成-恢复循环如何提升模板质量与摘要性能？
• RQ3 温度超参数对生成模板与摘要的多样性及质量有何影响？
• RQ4 该方法在不同数据类型上的表现如何，尤其与监督基线方法相比？
• RQ5 该方法能否泛化以生成新的、高质量的神经架构摘要数据集？

主要发现

• 自监督方法在BLEU、ROUGE、STS和BERT等多个评估指标上均表现出具有竞争力的性能，证明了其在数据到摘要标注任务中的鲁棒性。
• 在一次性微调阶段将温度超参数设为1，相比温度为0（导致过早收敛），能获得更高的最终得分和更优的输出多样性。
• 迭代优化过程同时提升了支持集与验证集得分，表明通过对齐反馈实现了有效的模板优化。
• 该方法成功生成了两个新的神经网络架构摘要数据集，分别包含3k和15k条摘要，基于不同的计算操作符。
• 消融实验验证了自监督机制的有效性，以及对齐评分在引导模板优化中的关键作用。
• 在生成复杂结构化数据（如计算图）摘要方面，该方法优于基线方法，尤其在人工标注尤为困难的场景下表现突出。