[论文解读] Large-Scale Text Analysis Using Generative Language Models: A Case Study in Discovering Public Value Expressions in AI Patents

Sergio Pelaez, Gaurav Verma+2 more|Research Explorer (The University of Manchester)|May 17, 2023

Computational and Text Analysis Methods被引用 5

一句话总结

本文提出了一种新颖的框架，利用 GPT-4 为来自 154,934 项美国人工智能专利的 540 万条语句生成高质量的标签和推理过程，以识别公共价值表达。该方法在分类公共价值内容方面取得了较高的 F1 分数（三分类为 0.85，二分类为 0.91），表明通过结构化提示工程的生成模型能够以极少的人工干预实现可扩展、高精度且可解释的大规模文本分析，适用于抽象概念。

ABSTRACT

Labeling data is essential for training text classifiers but is often difficult to accomplish accurately, especially for complex and abstract concepts. Seeking an improved method, this paper employs a novel approach using a generative language model (GPT-4) to produce labels and rationales for large-scale text analysis. We apply this approach to the task of discovering public value expressions in US AI patents. We collect a database comprising 154,934 patent documents using an advanced Boolean query submitted to InnovationQ+. The results are merged with full patent text from the USPTO, resulting in 5.4 million sentences. We design a framework for identifying and labeling public value expressions in these AI patent sentences. A prompt for GPT-4 is developed which includes definitions, guidelines, examples, and rationales for text classification. We evaluate the quality of the labels and rationales produced by GPT-4 using BLEU scores and topic modeling and find that they are accurate, diverse, and faithful. These rationales also serve as a chain-of-thought for the model, a transparent mechanism for human verification, and support for human annotators to overcome cognitive limitations. We conclude that GPT-4 achieved a high-level of recognition of public value theory from our framework, which it also uses to discover unseen public value expressions. We use the labels produced by GPT-4 to train BERT-based classifiers and predict sentences on the entire database, achieving high F1 scores for the 3-class (0.85) and 2-class classification (0.91) tasks. We discuss the implications of our approach for conducting large-scale text analyses with complex and abstract concepts and suggest that, with careful framework design and interactive human oversight, generative language models can offer significant advantages in quality and in reduced time and costs for producing labels and rationales.

研究动机与目标

• 为解决在大规模文本数据中标注复杂抽象概念（如“公共价值”）的挑战。
• 开发一种可扩展的方法，利用生成式语言模型识别人工智能专利中的公共价值表达。
• 评估 GPT-4 生成的标签与推理过程的质量和可解释性，以供人工验证和模型透明度。
• 基于 GPT-4 生成的标签训练 BERT 基础分类器，以实现对包含 540 万条专利语句的数据库进行大规模分类。
• 证明生成式模型可在保持高精度的同时显著降低标注成本与时间，用于检测细微的社会性概念。

提出的方法

• 为 GPT-4 设计了包含定义、分类指南、标注示例及推理生成说明的提示，以确保一致性和可解释性。
• 该框架应用于包含 154,934 项美国人工智能专利的数据集，通过与美国专利商标局（USPTO）的全文数据合并，扩展至 540 万条语句。
• GPT-4 为公共价值表达生成了二分类与多分类标签（三分类与二分类），并附带详细推理，解释每一项分类决策。
• 通过 BLEU 分数与主题建模评估标签质量，以衡量准确性、多样性及对输入文本的忠实度。
• 使用 GPT-4 生成的标签微调 BERT 基础分类器，以在全量数据集上进行推理。
• 采用人机协同验证机制，确保模型输出与公共价值理论及领域语义保持一致。

实验结果

研究问题

• RQ1 生成式语言模型（如 GPT-4）能否在大规模专利文本中可靠识别抽象的公共价值表达？
• RQ2 在对人工智能专利中的公共价值内容进行分类时，GPT-4 生成的推理过程在准确性和多样性方面表现如何？
• RQ3 GPT-4 生成的标签在多大程度上可支持训练高性能 BERT 基础分类器，以实现大规模文本分析？
• RQ4 GPT-4 生成的推理过程能否作为透明、可验证的思维链，用于人工监督与标注指导？
• RQ5 与传统人工标注相比，使用生成式模型标注复杂抽象概念在可扩展性与成本效益方面表现如何？

主要发现

• GPT-4 生成的标签在三分类任务中达到 0.85 的 F1 分数，在二分类任务中达到 0.91，表明其在检测公共价值表达方面表现优异。
• BLEU 分数与主题建模结果证实，GPT-4 生成的推理过程具有高度忠实度与多样性，支持模型的可解释性。
• 生成的推理过程作为透明的思维链，支持人工验证，并减轻了人工标注者的认知负担。
• 基于 GPT-4 生成标签微调的 BERT 分类器在全量数据集上泛化良好，实现了高效的规模化推理。
• 该框架显著降低了标注时间与成本，同时保持了高质量输出，证明了生成式模型在抽象概念检测中的可行性。
• 本研究证实，通过精心设计的提示与人工监督，生成式模型可作为复杂文本分类任务中人工标注的可扩展且可靠的替代方案。